Sentence-Based Extraction Methodology from External References to Enhance Performance in RAG
Myoungkuk Nam, Namgyu Kim · Journal of the Korea Society of Computer and Information · 2024
LLM은 학습 데이터에 포함되지 않은 최신 정보나 특정 도메인 지식 부족으로 인해 신뢰성 문제와 환각 현상이 발생할 수 있으며, 이를 보완하기 위해 외부 자료를 활용하여 추가 학습 없이도 적절한 답변을 제공하는 RAG 모델의 활용도가 높아지고 있다. 이에 따라 RAG 모델이 LLM의 신뢰성을 향상시킬 수 있다는 많은 연구 결과들이 보고되고 있으나, 외부 자료를 어떠한 형태로 활용하면 RAG 모델의 성능을 더욱 향상시킬 수 있을지에 대한 연구는 상대적으로 미진하다. 이에 본 연구에서는 외부 참고자료의 문장화 추출을 통해 RAG 모델의 성능을 향상시킬 수 있는 방법론을 제안하고자 한다. 제안 방법론의 성능 평가를 위해 특정 도메인(군사영어)에서 사용하는 약어와 두문자어 5,006개로 LLM과 두 가지 RAG 모델(텍스트 단순 추출, 문장화 추출)에 대한 Q&A 태스크를 수행하여 정확도를 비교하였으며, 그 결과 제안 방법론인 문장화 추출 RAG 모델이 다른 모델보다 우수한 성능을 보임을 확인하였다.