Rethinking ROUGE Scores for Video Game Review Summarization
Yeong-Hun Lee, Yuchul Jung · The Journal of Korean Institute of Information Technology · 2022
Recall 기반의 요약 평가 지표(ROUGE)의 경우, 자연어처리 연구 분야 중 문장 요약 분야에서 널리 쓰여왔다. 그러나 ROUGE의 신뢰성에 대해서는 의문을 표해왔다. 그 이유로는 높은 ROUGE 점수를 받았다고 하더라도, 요약 결과의 품질이 좋지 못한 경우가 있었기에 ROUGE 점수가 요약의 품질을 보장해주지 못하였다는 점 때문이다. 본 연구에서는 그중 비디오 게임 리뷰 요약 분야에 집중하였다. 우리는 기존의 SOTA(state-of-art)요약 기법들이 고품질의 게임 리뷰 요약 생성에 어려움을 겪고, 그 요약에 대한 ROUGE 점수가 문제가 있음을 확인하였다. 이를 위해서, 게임 리뷰 데이터를 새로 수집하고, 비디오 게임 리뷰 요약에 ROUGE 점수의 실효성을 확인하기위해 새로 구축한 데이터를 활용하여 BERT 기반의 자동 리뷰 요약 생성을 시도하였다. 그리고 게임 리뷰 요소 측면에서 ROUGE 점수와 사람이 직접 평가한 점수를 기반으로 분석을 진행하였다.