Performance Comparison and Analysis Between Neural and Non-neural Autoencoder-based Recommender Systems
Yoonki Jeong, Jongwuk Lee · Journal of KIISE · 2020
다양한 분야에 심층 신경망이 도입되어 획기적인 성능 개선을 보이고 있으나, 최근 심층 신경 망 기반 추천 모델의 성능 개선이 크게 보이지 않는다는 주장이 나오고 있다. 이와 같은 문제는 추천 연구에 통용되는 실험 환경의 부재와 제안 모델 성능에 대한 엄밀한 분석 부재에 기인한다. 본 논문에서는 1) 추천 모델의 공정한 비교를 위한 실험 프로토콜을 구성하고, 2) 추천 모델의 한 축인 오토인코더 기반추천 모델에 대해서 실험적 검증을 수행하며, 3) 사용자와 항목 인기도를 기준으로 여러 개의 세부 그룹으로 나누어 실험 결과를 분석한다. 실험 결과, 모든 데이터셋에서 신경망 기반 모델의 추천 성능이 비신경망 대비 일관적인 성능 개선을 보이지 않았으며, 신경망 모델 내에서도 주된 정확도 개선을 확인할 수 없었다. 한편, 세부 그룹별 성능 평가 결과에서는 인기 항목에선 비신경망 모델의, 비인기 항목에선 신경망 모델의 정확도가 높음이 확인하였고, 이를 통해 신경망 모델의 복잡성이 비인기 항목에 대한 추천에 도움이 될 수 있다고 판단된다.