A Study on Leveraging Distributed Messaging Systems for Large-scale Heterogeneous Message Processing Based on a Real Application
Hyeock-Jin Lee, Hyeounji Jang, Jik‐Soo Kim · 정보과학회 컴퓨팅의 실제 논문지 · 2022
Many-Task Computing (MTC)은 새로운 컴퓨팅 패러다임으로서 주로 대규모의 태스크들로 구성(수십만 개 이상)되고, 상대적으로 짧은 실행 시간과 큰 작업 실행 편차 등의 특징들을 나타내고 있다. 본 연구팀에서는 이러한 대규모의 태스크들로 구성된 MTC 응용을 효과적으로 지원하기 위해 분산메시징 시스템을 활용한 선행 연구를 수행하였고, MTC 응용의 특성상 메시지 처리 실행 시간의 편차가 나타날 수 있음에 기반하여 이를 “이종 메시지”라고 규정하였다. 본 논문에서는 이러한 이종 메시지들을 효율적으로 처리하기 위해 3개의 대표적인 분산 메시징 시스템(ActiveMQ, RabbitMQ, Kafka)들을 활용하여 실제 MTC 응용(신약 재창출)을 통한 이종 메시지 처리 실행 시간을 측정한 결과를 제시한다. 이들의 실행 시간 비교 분석을 통해 대규모 이종 메시지 처리에 적합한 분산 메시징 시스템을 제안하고자 한다.