A Complex Gradient Analysis and Utilization Method to Enhance Learning Performance of Convolutional Neural Networks
Kyung Soo Kim · The Journal of Korean Institute of Information Technology · 2023
콘볼루션 신경망은 콘볼루션 필터와 서브 샘플링 연산을 포함하는 다수의 계층으로 구성된 심층 신경망 모델이다. 이러한 콘볼루션 신경망의 복잡한 구조는 그것의 효과적인 학습을 더욱 어렵게 하므로, 기존의 신경망 학습 방법보다 더욱 정교하면서도 안정적인 학습 방법이 필요하다. 이에, 본 논문에서는 콘볼루션 신경망 학습시 그레디언트 정보를 복합적으로 활용하는 방법을 소개하고 이에 기반한 새로운 콘볼루션 신경망 학습 알고리즘인 CGAU-CNN을 제안한다. 실제 실험에서 두 콘볼루션 신경망 모델인 ResNet과 DenseNet을 CGAUCNN을 이용하여 학습시킨 후 이미지 분류 성능을 평가한 결과 Adam과 같은 기존의 학습 방법보다 더욱 빠른 수렴 속도와 함께 높은 정확도로 콘볼루션 신경망 모델을 학습시킬 수 있음을 확인하였다.