A Survey on Parallel Deep Learning
JinYi Yoon, Jiho Lee, Na-Young Han, HyungJune Lee · 한국통신학회논문지 · 2021
딥러닝(Deep Learning)은 최근 다양한 분야에서 폭넓게 사용되고 있으며, 특히 자연어 처리, 음성 인식, 이미지 분류, 특징 추출 및 기계 번역과 같은 최신 기술에서의 급격한 발전을 가져왔다. 막대한 양의 데이터와 복잡한 태스크(Task)를 처리하기 위해 신경망(Neural Networks)이 커짐에 따라, 신경망의 계층(Layer)과 파라미터(Parameter)가 많아지면서 계산 집약적인 기술들이 가능해지도록 하였다. 이러한 큰 규모의 심층신경망(Deep Neural Networks, DNNs)이 한정적인 자원의 기기들에서 동작할 수 있을 뿐만 아니라 러닝(Learning)을 가속하기 위해 연합 학습(Federated Learning)이라는 병렬 처리(Parallelization) 기법이 등장하게 되었다. 본 논문에서는 데이터 병렬 처리(Data Parallelism), 모델 병렬 처리(Model Parallelism), 하이브리드 병렬 처리(Hybrid Parallelism), 그리고 파이프라인 병렬 처리(Pipeline Parallelism)의 네 가지 병렬 처리 방법을 소개하고자 한다.