A Method for Improving Learning Convergence Curve and Learning Time of DA-FSL Model using Knowledge Distillation
Hye-Youn Lim, Jun-Mock Lee, Dae-Seong Kang · The Journal of Korean Institute of Information Technology · 2020
많은 데이터를 확보한 분야에서 머신러닝 모델을 잘 학습시키는 것은 용이하다. 하지만 데이터가 부족한 분야에서 모델을 잘 학습시키는 문제를 해결하기는 쉽지 않다. 이러한 문제를 해결하기 위해 최근 전이학습을 통한 지식 증류가 주목받고 있다. 지식 증류는 앙상블 기법을 통해 학습된 다량의 큰 네트워크로부터 작은 하나의 네트워크에 지식을 전달하는 방법론을 의미한다. 본 논문에서는 DA-FSL모델에 지식 증류 기법을 적용하여 학습 정확도뿐만 아니라 학습에 소요되는 시간을 개선하는 방법을 제안한다. 세 가지의 지식 증류 방법을 사용해서 DA-FSL 모델에 적용하고 실험을 통해 초기 목표 학습 정확도에 수렴하는 곡선을 평가하였다. 제안된 방법을 통해 지식 증류를 적용한 DA-FSL 모델의 학습 소요 시간과 지식 증류를 적용하지 않은 DA-FSL 모델의 학습에 소요되는 시간을 비교한 결과 최소 3%에서 최대 35%까지 감소되었음을 실험을 통해 확인하였다.