[추천 시스템 입문] CH07. 추천 시스템 평가

들어가는 글

---

이제 막 인트로(ch01, 02, 03)까지 달려왔고!

이제 본격적으로 ch04(추천알고리즘 개요), ch05(추천알고리즘 상세)를 공부하려고 했는데! 

 

갑자기 ch07부터 공부하기로 했다. ㅎ  

 

ch07는 추천시스템을 평가하는 방법에 대해 소개하는 챕터이다.

해당 챕터를 먼저 읽고 본격적으로 ch04, 05를 공부하게 되면, 어떤 추천모델을 설계하는 것이 좋을지에 대한 감(?)이 더 빠르게 올 것 같아서이다.

즉, 만들어진 모델에 대한 평가지표로는 무엇무엇이 있고. 서비스 지표는 무엇무엇이 있고 이 중에서 어떤 지표를 타겟팅할지 정했다면, 나는 과연 어떤 피쳐들을 모델에 녹일 수 있을까? 등의 고민의 시간🤔이 더 짧아질 수 있지 않을까 싶었다. 

 

그래서 이번 챕터에서는 추천시스템을 평가하는 방법에 대한 CH07를 공부해보려한다.

 

+) 내용이 좀 많은 챕터라서 평가방법별로 따로 글을 작성했다. 

7. 1 추천 시스템 평가를 위한 3가지 평가 방법

---

오프라인 평가

• 실제 서비스 상에서의 열람, 구메 등 사용자의 행동 이력에서 얻은 과거 로그를 사용해 모델의 예측 정밀도를 평가한다.
• 서비스 로그를 사용하는 온라인 평가의 장점은 평가 비용이 낮고 데이터 양이 풍부하다는 점에서 평가 결과의 분산이 적다는 것이다.
• 주의할 점으로는 오프라인 평가지표가 좋다고 하더라도, 실제 비지니스 목표인 사용자의 만족도나 매출에는 기여하지 않는 경우가 있다는 것이다.
• 따라서, 오프라인 평가에서는 비지니스 목적의 대체 지표인 온라인 평가 지표와 연관되는 오프라인 평가 지표를 찾는 것이 중요하다.

https://yesjiyoung.tistory.com/18 

[추천 시스템 입문] CH07. 추천 시스템 평가 - (1) 오프라인 평가

온라인 평가

• 새로운 서비스를 일부 사용자에게 표시함으로써 평가를 수행한다.
• 따라서 매출 등 비지니스 목표에 얼마나 기여했는지를 직접 알 수 있어 오프라인 평가보다는 정확한 평가를 수행하기 쉽다.
• 하지만 온라인 평가 시스템을 구축하는 비용이 든다는 단점과, 실제 테스트 대상인 서비스의 성능이 좋지 않은 경우는 사용자의 만족도를 떨어뜨릴 수 있다.

https://yesjiyoung.tistory.com/19

[추천 시스템 입문] CH07. 추천 시스템 평가 - (2) 온라인 평가

사용자 스터디

• 사용자 스터디에 의한 평가는 인터뷰나 설문으로 사용자를 통해 서비스의 정성 평가를 하는 것이다.
• 서비스 로그만으로는 알 수 없는 개선점을 발견할 수 있다.
• 최근에는 아마존의 미케니컬 터크 등 크라우드 소싱을 통해 사용자 스터디를 진행하고 있다.
• 하지만 개인 취향에 따른 대답의 분산이 크고 데이터의 양을 충분히 얻기 어려워 재현성이 떨어지는 문제가 있음.

평가유형별 평가항목, 평가방법, 장단점 (+노션에 정리한 표)