Hadoop MapReduce Performance Optimization Analysis by Calibrating Hadoop Parameters
Keungyeup Ji, Youngmi Kwon · The Journal of Korean Institute of Information Technology · 2021
본 논문은 분산처리 및 가상화 기반으로 대용량 데이터 처리를 하는 하둡(Hadoop) 프레임워크(framework)의 단점인 속도의 비효율성을 해결하기 위한 가장 효율적인 방안으로 하둡 환경의 파라미터(parameter) 조정을 통해서 성능 최적화 환경을 파악하고자 하는 것이 목적이다. 그러기 위해서 하둡 성능에 민감한 영향을 끼치는 Parameter 조정을 통해서 하둡 분산처리를 지원하는 HDFS(Hadoop Distributed File System)와 MapReduce 성능 개선 최적화를 도출하였다. 본 논문 실험을 통해서 대규모 데이터 파일 처리에 특성화된 하둡 프레임워크를 주어진 자원여건에서 최적의 상태에서 활용하기 위해서는 하둡 파라미터 조정을 통해서 적합한 구성 환경을 도출한 후에 데이터 처리(data processing)를 수행하는 것이 효율적이라고 판단된다.