Performance Evaluation using sLM for Realtime Translation
Sungjin Kim, Soo-Hyung Yeom, Seokhoon Kang · The Journal of the Korean Institute of Information and Communication Engineering · 2025
미세조정된 거대언어모델(LLM)은 최근 고수준의 번역 기능을 제공하고 있다. 하지만 LLM 번역은 잘못된 번역을 생성할 가능성이 있다. 이런 문제를 실시간으로 찾아내기 위해서는 참조 문헌 없이도 입력에 대한 번역의 결과를 평가하는 방법이 필요하다. 하지만 번역 품질 평가에 많이 활용되고 있는 규칙 기반 메트릭은 참조 번역 문의 제공을 전제로 평가가 진행되어, 실시간 품질 평가에는 사용되기 힘들고, LLM을 이용해 번역 결과에 대한 품질을 평가하는 방법은 정밀한 평가는 제공하기 어렵기 때문에 성능 보장에 한계가 있다. 따라서 본 논문에서는 sLM과 규칙 기반 메트릭을 조합한 실시간 번역 품질 평가 방법을 제안한다. 규칙 기반 LLM이 바로 평가 결과를 요청하는 대신에, 가상 참조 번역문만 생성하게 하고 규칙 기반 메트릭으로 최종적으로 평가하여 각각의 한계를 극복할 수 있다. 본 논문에서 제안한 방식을 통해 BLEU의 경우 40%, METEOR의 경우는 85%까지 유사도가 상승함을 보였다.