The Analogy Test Set Suitable to Evaluate Word Embedding Models for Korean
Hyungsuc Kang, Janghoon Yang · Journal of Digital Contents Society · 2018
지금까지 자연어 처리 분야에서 다양한 단어 임베딩 모델 및 성능 검증 방식이 제안되어 왔지만, 대부분은 영어에 적용되는 것이다. 따라서 한국어 단어 임베딩 모델을 평가하는 대부분의 경우, 영어 단어 임베딩 모델에 적용되는 성능 검증 방식을 단순한 번역을 통해 사용해 왔다. 하지만 한국어와 영어의 문법적 차이가 크기 때문에, 이런 변형에는 상당한 한계가 존재한다. 본 논문의 목표는 한국어 단어 임베딩 모델을 평가하기에 적합한 유추 검사 세트를 제안하는 것이다. 이를 위해, 최근 많이 사용되고 있는 단어 임베딩 모델 중 하나인 word2vec 모델의 기존 유추 검사 세트를 한국어 고유의 특성을 반영하도록 확장했다. 한국어 형태소 분석기의 성능을 정량적으로 비교하는 데 적용함으로써 이 검사 세트의 효용을 확인했다. 다양한 한국어 단어 임베딩 모델의 하이퍼파라미터를 최적화하고자 할 때, 한국어 유추 검사 세트를 활용할 수 있을 것으로 기대된다.