Introduction

추천 시스템을 평가하기 위해 사용자들이 선택할 아이템들을 예측하는 (accurate predictions) 알고리즘 평가방식이 존재하지만, 추천시스템 서비스를 이용하는 유저가 다양한 제품을 소개 받고 싶어 하거나, 유저 정보에 대한 privacy 문제를 고려한다면 정확한 추천 시스템의 평가 방식이 될 수 없다.

따라서 추천 시스템의 성공에 영향을 주는 특성들을 알아보고 그 특성을 지표로 추천 시스템을 평가해야 한다.

1. Experimental Setting

Offline Experiments

사용자들이 이미 rating 평가를 했거나 선택한 아이템 데이터들을 이용하여 평가하는 방식이다. (pre-collected dataset)

pre-collected dataset 이외의 다른 사용자와의 interaction을 필요로 하지 않기 때문에 많은 알고리즘을 빠르게 비교 평가할 수 있다.

하지만 사용자는 추천 시스템이 정해준 방식대로만 (very narrow questions) 대답할 수 있기 때문에 사용자가 전달하고자 하는 피드백을 제한적으로 받을 수 밖에 없다.

따라서 offline 방식으로는 많은 알고리즘들 중 부적절한 알고리즘을 걸러내는 용으로 쓴다.

1. Datasets for offline experiments

   pre-collected dataset 에 있는 유저, 아이템, ratings 데이터가 bias되어 있지 않은지 신경 써야 하고, dataset을 샘플링 하는 과정에서도 bias가 일어나지 않도록 조심해야 한다.

2. Simulating User Behavior

   추천 시스템의 성능을 측정하기 위해, 사용자가 이용하는 추천 시스템의 online 프로세스를 시뮬레이션 하는 과정이 필요하다.

   간단 하게는 사용자의 historical 데이터 중 일부를 가리고 그 가린 부분을 채워 넣는 방식으로 학습을 한다.

   가장 이상적인 방법은 유저의 선택이 일어날 때마다 찍힌 timestamp도 고려하여, 유저의 다음 선택은 어떨지 예측하도록 시뮬레이션을 하는 것이다. 하지만 이 방법은 computation cost 가 꽤 크다.

   • Timestamp 고려한 방법
     1. test 유저 들을 샘플링하고, test timestamp를 샘플링 한 다음, 샘플된 테스트 유저들이 샘플 된 test timestamp 바로 이후에 어떤 결정을 할 지 예측하는 방법.
     2. test 유저 들을 샘플링하고, 각각의 test 유저 별로 test timestamp를 샘플링 한 뒤, 각각의 test 유저들의 timestamp 이후의 어떤 결정을 내리는지 예측하는 방법.
   • Timestamp 고려하지 않은 방법
     1. n개 이상의 아이템에 rating한 test 유저들을 샘플링 하고, 그 중 K개를 가리고 그 K개의 rating을 예측하는 방법. (research paper에서 가장 보편적으로 쓰이는 방법)

User studies

사용자에게 서비스에서 특정 task를 수행하도록 하게 하고 그 과정에서 추천 시스템과 사용자가 어떤 식으로 상호 작용하는지 파악한다.

off-line test에서는 관찰할 수 없는 것들을 물어봐야 한다. (유저 인터페이스, 주어진 task를 수행하는데 어려움이 없었는지 등등 ..) (더 자세한 내용은 chapter 9에)

User Study 방법에서도 데이터가 bias될 수 있으며, 이것을 방지하기 위해 설문 조사의 의도를 사용자에게 알리지 않는 방식을 사용 할 수 있다.

장점

• Recommendation system이 유저의 행동에 어떻게 영향을 미치는지 알 수 있다.