Performance Improvement of a Korean Open Domain Q&A System by Applying the Trainable Re-ranking and Response Filtering Model
Hyeonho Shin, Myunghoon Lee, Hong-Woo Chun, Jae‐Min Lee, Sung-Pil Choi · Journal of KIISE · 2023
딥러닝 기술이 자연어처리에 적용되면서, 사용자 질문에 대상 단락을 미리 준비하지 않은 상황에서도 정답을 찾을 수 있는 오픈 도메인 질의응답에 대한 연구가 활발히 진행되고 있다. 그러나 기존 연구는 키워드 기반 정보 검색을 사용하여 의미론적 매칭에 한계가 존재한다. 이를 보완하기 위해 딥러닝 기반 정보 검색 연구가 진행되고 있으나 실증적으로 실 시스템에 적용한 국내 연구는 아직 많지는 않은 상황이다. 이에 본 논문에서는 한국어 오픈 도메인 질의응답 시스템의 성능을 높이기 위해 2단계 성능 고도화 방법을 제안하였다. 제안된 방법은 검색엔진과 기계독해 모델이 결합된 형태의 베이스라인 시스템에 기계학습 기반의 재순위화 모델과 응답 필터링 모델을 순차적으로 적용하는 방법이다. 베이스라인 시스템의 경우 초기 성능은 F1 스코어 74.43, EM 스코어 60.79이며, 제안된 방법을 활용하였을 때 F1 스코어 82.5, EM 스코어 68.82로 성능이 향상되는 것을 확인하였다.