Design and Performance Comparison of Docker Container Based Deep Learning Model Management System for Real-Time Analysis
Mo-se Lee, Min-su Kang, Inho Kim, Jae-hun Kim · 한국통신학회논문지 · 2021
딥러닝 기술은 고차원의 데이터에 대한 결과를 추론하는데 매우 효과적이어서 다양한 비즈니스 영역에 적용할 수 있는 것으로 알려져 있다. 딥러닝 프레임워크의 발전으로 다양한 인공지능 서비스들이 등장하고 있다. 특히 최근 화두가 된 스마트시티는 도시에서 발생하는 다양한 데이터들을 기반으로 한 인공지능 서비스를 제공한다. 그러나 대부분의 인공지능 서비스들은 딥러닝 기술을 이용한 모델의 추론 정확도를 만족시킬 뿐 리소스를 효율적으로 사용하는데 한계점이 있다. 실제 서비스 적용을 위해 웹 또는 플랫폼 아키텍처를 구성할 때에도 데이터 유입부터 전처리, 모델 학습, 서빙에 대한 다양한 인프라 기술을 운영하기 위한 비용이 발생된다. 스마트시티 서비스의 경우 방대한 데이터를 기반으로 운영되기 때문에 운영비용이 크게 발생할 것으로 보인다. 본 연구에서는 딥러닝 모델을 적용하는 안정적인 웹서비스 개발과 배포 및 관리를 용이하게 하기 위해 다양한 아키텍처를 설계하고 아키텍처들 간의 성능을 비교하고자 한다. 일반적인 함수를 실행하는 방법인 Embedded Function 아키텍처와 REST 방식인 Flask API, Fast API, TFServing 아키텍처들 총 4가지에 대해 성능 비교를 진행하였다. 실험 결과 데이터 처리 속도 면에서는 TFServing이 가장 뛰어난 성능을 보여주었지만 탑재 가능한 모델의 종류, 커스터마이징 면을 고려했을 때에는 충분한 속도를 보여주는 Fast API도 안정적인 아키텍처로 개발하기에 충분하다는 결과를 보여주었다.