A Survey on Hyperparameter Optimization in Machine Learning
Jonghyeon Won, Jongmin Shin, Jaeho Kim, Jang-Won Lee · 한국통신학회논문지 · 2023
최근 다양한 분야에서 주목받고 있는 기계학습의 성능은 기계학습 모델의 하이퍼파라미터에 의존한다. 이에 따라 기계학습의 성능을 향상시키기 위해서는 최적의 하이퍼파라미터를 찾는 것이 중요하다. 기계학습의 하이퍼파라미터 최적화는 최적화 문제의 목적 함수와 결정 변수들의 특징 때문에 풀이에 어려움이 많으며, 하이퍼파라미터 최적화의 알고리즘들은 이러한 어려움을 해결하는 방향으로 연구되고 있다. 본 논문에서는 기계학습의 하이퍼파라미터 최적화의 난점을 분석하고, 이를 해결하기 위해 제안된 하이퍼파라미터 최적화 연구들의 동향을 파악한다. 또한 이를 바탕으로 기계학습의 성능을 더 향상시키기 위해 앞으로 기계학습의 하이퍼파라미터 최적화 연구가 나아갈 방향을 제시한다.