Korean Text Generation Using Word Embedding Enhanced by Domain Information
Mei-ying Ren, Shin-Jae Kang · Journal of Korean institute of intelligent systems · 2019
최근 순환신경망(Recurrent Neural Network, RNN)이 언어 모델링에서 두각을 나타냄에 따라 많은 연구들에서 해당 기법을 사용하여 언어 모델링 연구를 수행하고 있다. RNN은 뉴스와 같은 정형화된 텍스트의 생성뿐만 아니라 소설, 수필과 같은 창의적 텍스트 생성을 위한 시스템에도 쓰이고 있다. 영어권에서는 글쓰기를 위한 보조적 수단으로 사용된 연구가 있으나, 한국어에 관한 연구는 아직 부족하다. 한국어는 영어보다 어휘의 쓰임새나 형변환이 다양하기 때문에 난이도가 높다. 본 논문에서는 도메인 정보가 강화된 워드 임베딩을 이용하여 한국어 텍스트 생성 모델을 구축하였다. 임베딩 층을 학습하기 위해 두 가지 모델을 실험 하였는데 도메인 말뭉치만 가지고 임베딩 층을 학습하는 모델 1과 대용량의 일반 데이터를 먼저 학습하고 도메인 말뭉치를 추가 학습하는 모델 2를 구축하여 실험을 수행하였다. 실험 결과, 두 모델 모두 한국어 창의적 텍스트 생성의 가능성을 보여 주었는데 모델 2를 통해 생성된 데이터는 창의성 면에서, 즉 수사적 단어의 활용 면에서 모델 1보다 나았고 통사적 면에서는 모델 1이 좀 더 깔끔한 문장을 생성하였다.