Generating Emotional Sentences Through Sentiment and Emotion Word Masking-based BERT and GPT Pipeline Method
Won-Min Lee, Byung-Won On · The Journal of Korean Institute of Information Technology · 2021
최근 인공지능 기술의 발전과 더불어 인공지능 챗봇에 관한 연구가 활발히 진행되고 있으며, 사람의 감정을 비슷하게 표현할 수 있는 수준까지 도달하고 있다. 챗봇이 사람의 감정을 정확하게 인식하고 그에 적절한 응답을 할 수 있다면 챗봇과 자연스러운 대화가 가능하다. 이를 위해 응답 문장을 생성할 때 화자의 감정을 고려해야 하며, 감정이 반영된 대용량의 고품질 학습 데이터를 생성하는 것이 필요하다. 따라서 본 논문에서는 감성 및 감정 단어 마스킹 기반의 BERT 모델을 사용하여 감정이 반영된 학습 데이터를 자동으로 생성하고, 이러한 학습 데이터로 GPT 모델을 학습시켜 감정이 잘 반영된 응답 문장을 생성하는 BERT+GPT 파이프라인 모델을 제안한다. 실험 결과에 따르면, 제안 방안은 무작위로 샘플링 한 단어를 마스킹 하는 기존의 BERT 모델보다 감정분류의 정확도가 12% 향상되었고, GPT 모델에 의해 생성된 대부분의 응답 문장은 감정이 일관되고 좀 더 자연스러운 응답 문장임을 확인할 수 있었다.