Can Large Language Models Be Used in Undergraduate Speech Education? - Rhetorical Conception and Engineering Implementation of an LLM Evaluation Framework -
Dongkyu Kim, Joongho Chang · Korean Journal of Rhetoric · 2025
2022년 말 챗지피티의 등장 이래로 언어 인공지능은 개발자 중심 시대에서 사용자 중심 시대로 전환되었다. 인공지능 비전공 연구자들과 일반 사용자들도 초고성능의 LLM을 자유롭게 접하고 사용할 수 있게 되면서, 대학 스피치 교육 영역에서도 LLM을 활용한 연구가 급속히 증가했다. 이러한 상황에도 불구하고 스피치 교육 현장에는 LLM 도입이 적극적으로 이뤄지지 않고 있다. 핵심 원인 중 하나는 LLM에 내재된 성능 불안정성 때문이다. 본 연구에서는 LLM의 성능 안정성을 높이기 위한 해법을 수사학과 공학의 융합을 통해 구상하고 구현하여, 스피치 평가 루브릭 기반의 LLM 성능 평가 프레임워크를 구상하고 실험하였다. 실험 결과 LLM의 성능 안정성에 대한 평가의 가능성, LLM간 성능 안정성 비교 가능성, LLM의 불안정성을 개선한 성능 보완의 가능성, LLM 성능 평가 프레임 워크의 구현 가능성을 확인했다. 이는 향후 개발자 단계가 아닌 사용자 단계에서도 LLM 성능 안정화가 가능함을 의미하는 것이며, 향후 LLM 도입 확대의 가능성을 높일 것으로 기대된다. 본 연구는 스피치 교육과 같은 전문 분야로의 LLM 도입 가능성의 확대란 점에서 또한 수사학과 인공지능학의 본격적인 융합 연구란 점에서 큰 의의를 갖는다 할 수 있다.