Improving Successive Halving Algorithm by Considering the Learning Characteristics of Neural Network
DongEon Jeong, Sangheon Lee, Jee-Hyong Lee · Journal of Korean institute of intelligent systems · 2019
초매개변수 탐색은 기계학습 모델의 최적 초매개변수를 찾기 위한 기법이다. Successive Halving Algorithm은 초매개변수탐색 기법의 하나로 신경망 모델의 초매개변수 탐색에 활용된다. 해당 기법은 다른 기법 대비 탐색이 빠르다는 장점을 가지지만 최적 초매개변수를 찾기 어렵다는 단점이 있다. 본 논문에서는 신경망 모델의 학습 특성을 반영하여 Successive Halving Algorithm을 효과적으로 수행하는 기법을 제안한다. 제안 기법의 검증을 위하여 Convolutional Neural Network 구조 기반 이미지 분류 모델에 대한 초매개변수 탐색을 수행하였으며, 이를 통해 제안 기법이 기존 기법 대비 탐색을 효과적으로 수행하는 것을 확인하였다.