Sensory Data Processing by Using Hadoop Framework
Yunhee Kang · The Journal of Korean Institute of Information Technology · 2013
다양하고 저렴한 센서 및 측정 장치의 개발로 국가수준의 u-City 환경에서 이들의 보급이 빠르게 이루어짐에 따라 대용량의 센싱 데이터가 지속적으로 증가하고 있다. 이 논문에서는 u-City 시스템에서 생산된 대용량 센싱 데이터의 처리를 위해서 MapReduce 미들웨어인 Hadoop을 활용한 데이터 처리과정을 기술한다. 이를 위해 u-City 시스템의 유량계로부터 수집된 데이터 셋으로부터 유속 속성값을 추출하여 지역별 평균값을 병렬적으로 구하도록 MapReduce 프레임워크를 적용한다. 응용의 수행을 위해 4개의 Hadoop 운영환경을 구성하여 수행한다. 성능평가를 기반으로 MapReduce 응용을 효율적으로 수행하기 위해서는 Hadoop 클러스터의 형상을 결정하는 것이 중요함을 보인다.