Performance Analysis of Locality Aware Grouping in Apache Storm over Various Network Environments
Siwoon Son, Juhong Namgung, Yang‐Sae Moon · 정보과학회 컴퓨팅의 실제 논문지 · 2019
Apache Storm은 분산 환경에서 데이터 스트림을 빠르게 처리하는 실시간 데이터 처리 시스템이다. Storm은 다수의 서버에서 데이터 스트림을 빠르게 송수신하기 위해, 메시지 수신 서버를 선택하는 스트림 그룹핑 기법들을 다수 제공한다. 하지만, 현재 Storm이 제공하는 그룹핑 기법들은 지역성을 고려하지 않거나 부분적으로만 고려하여 암맹 분배와 부하 불균형 문제가 발생할 수 있다. 이러한 문제를 해결하는 Locality Aware 그룹핑은 지역성을 고려하여 가까운 수신 서버에게 더 많은 메시지를 전송하는 기법이다. 본 논문은 Locality Aware 그룹핑이 속도가 다른 네트워크 대역폭에서 기존 그룹핑 기법 대비 어떤 성능 차이를 갖는지 평가한다. 대역폭의 변화를 위해, 가장 널리 사용되는 Ethernet 장비와 고성능 네트워크 장비인 InfiniBand에서 실험한다. 본 논문의 결과는 네트워크 대역폭에 따라 적절한 Storm 그룹핑 기법을 선택하는 기준으로 활용될 수 있다.