추천 모델을 이용해서 여러 상품들을 재정렬하는 모델이 있다고 하자.

• 이 추천 모델이 제대로 동작하지 않고 있음을 어떻게 알아차릴 수 있을까 ?
• 원인은 어떻게 찾을까 ? 어떻게 모니터링 할까 ?
• 이 문제는 어떻게 해결할 수 있을까?

점진적으로 변화하는 문제들.

• Data changes
  • 트렌드 변화, 시즌의 변화
  • feature들의 분포 변화
  • feature들의 중요성 변화
• World changes
  • 스타일 변화
  • 경쟁사들의 변화
  • 다른 지역으로의 비즈니스 확장

갑자기 변화하는 문제들.

• Data collection problem
  • 센서 문제
  • logging 문제
• Systems problem
  • 시스템 다운
  • 네트워크 끊김
  • 인증 문제

따라서 모델의 퍼포먼스는 시간이 지날수록 줄어들 수 있음 (Data and Concept Drift)

Model retraining 과정이 퍼포먼스를 증가시킬 수 있다.

Labeling 방법

• Process Feedback

  • 로그를 통해 feature inference와 클릭 결과를 Pair로 저장해서 학습
  • Fluentd / logstash

• Human labeling

  • 비용이 많이 들수 있음