Design of a Program Module for Splitting and Merging Large-Scale Data Files
Seung-Ju Jang · The Journal of the Korean Institute of Information and Communication Engineering · 2025
본 논문은 대규모 스프레드 시트 기반 데이터셋을 효과적으로 관리하기 위해 파일 분할 및 병합 기능을 갖춘 프로그램 모듈을 설계한다. 최근 스프레드 시트를 사용하는 사용자의 데이터 양이 급격히 증가함에 따라, 스프레드 시트 파일의 크기가 커지고, 이에 따른 성능 저하, 저장 지연, 시스템 불안정, 시스템 오류, 파일 손상 등의 문제가 빈번히 발생하고 있다. 이러한 파일을 수작업으로 분할하거나 병합하는 것은 비효율적일 뿐만 아니라 오류 발생 가능성도 매우 높다. 이를 해결하기 위해, 제안된 모듈은 파일 크기 등 사용자 정의 기준에 따라 데이터를 분할할 수 있도록 설계되었으며, 정확한 파일 복원을 위한 메타 데이터 기반 병합 기능도 지원한다. 본 모듈은 파이썬(Python) 언어로 구현되었으며, 엑셀 파일을 읽어들여서 파일 분할 및 병합하는 기능으로 설계되어 있다. 실험을 통해 실제 대용량 CSV 데이터를 대상으로 정상적인 동작에 대한 검증을 수행하였다. 실험을 수행한 결과 정상적으로 작동함을 확인할 수 있었다.