External Knowledge Incorporated BERT for Retrieval-based Dialogue Systems
Janghoon Han, Youngjoong Ko, Jungyun Seo · 정보과학회 컴퓨팅의 실제 논문지 · 2021
인간과 상호작용할 수 있는 대화시스템 개발은 인공지능 분야의 중요한 과제 중 하나이다. 이러한 문제를 해결하기 위해 대화 시스템에서 외부 지식을 활용하는 연구는 꾸준히 진행되어 왔다. 하지만 외부 지식을 학습하기 위해서는 구조화된 지식이 필요하며, 이를 생성하기 위해선 상당한 자원이 필요하다. 이러한 관점에서 본 연구는 검색 기반 대화 시스템에서 구조화 되지 않는 텍스트를 외부 지식으로 사용하는 모델을 제안한다. 기본 모델로 사전 학습된 언어 모델인 BERT를 사용하고 사후 학습을 통해 모델에 외부 지식을 학습시킨다. 이 후 사후 학습된 모델을 대화 응답 선택 태스크에 미세조정하여 문제를 해결한다. 기존 BERT 모델에 비해 외부 지식을 학습한 모델의 성능이 우분투 코퍼스에서 R10@1기준 1.3% 향상된 결과를 보였다.