Layer-adaptive Gradient Clipping in Quantization-Aware Training
Jihoon Park, Byung-Cheol Song · Journal of the Institute of Electronics and Information Engineers · 2023
기존의 양자화는 배치 정규화 레이어를 폴드하므로 정규화 효과를 사용하지 못하여 정확도 감소가 발생한다. 본 논문에서는 이 정확도 저하를 해결하기 위해 양자화 후 학습에 그래디언트 클리핑을 적용하여 안정적인 성능을 이끌어냈으며 각 레이어에 적응적으로 그래디언트 클리핑을 위한 입력값으로 랜덤 클리핑 벡터를 취하는 MLP를 추가한 신경망을 제안한다. Quantization in neural network folds the batch normalization layer, so the normalization effect cannot be used and accuracy can be degraded. To avoid the accuracy degradation, this paper achieves stabilized training by applying Adaptive Gradient Clipping (AGC) to Quantization-Aware Training (QAT). Also, we propose a neural network with MLP that takes random clipping vector as inputs for gradient clipping adaptively for each layer.