Overcoming Exploration Stagnation in Reinforcement Learning-Based Automated Game Testing
Tae-Hyeon Jang, Yeajin Lee, Hyun Seok Kim · Journal of Digital Contents Society · 2025
현대 게임의 복잡성이 증가함에 따라, 품질 보증 인력에 의한 수작업 기반 테스트는 높은 비용과 제한적인 탐색 커버리지 문제가 있다. 이를 해결하기 위해 강화학습을 활용한 자동화된 게임 테스트 방식이 연구되고 있지만, 기존 강화학습 방식은 에이전트가 빠르게 최적 경로에 수렴하면서 새로운 탐험을 소홀히 하게 되는 탐험 정체(Exploration Stagnation) 문제가 발생한다. 따라서, 본 연구에서는 탐험 정체 시점에 탐험 전략을 일시적으로 조절하는 동적 탐험 조절 기법을 제안한다. 제안 기법은 최근 평균 리워드 변화율이 임곗값 이하일 경우, softmax 온도 또는 ε 값을 증가시키는 방식으로 동작한다. 본 논문에서는 제안한 방법을 softmax기반 CartPole과 ε-greedy Deep Q-Network(DQN) 기반 MsPacman 환경에서 평가하였으며, 도달하기 어려운 영역에 삽입된 버그에 대해 기존 방식 및 무작위 탐험보다 우수한 탐지 성능을 보였다.