A Multivariate Time Series Forecasting Methodology Based on Pre-trained LLM
Minseob Song, Namgyu Kim · Journal of Intelligence and Information Systems · 2025
최근 시계열 예측 분야에서 사전학습된 대규모 언어 모델(LLM)을 활용한 연구가 활발히 진행되고 있다. 시계열 예측 방법은 크게 단변량 방식과 다변량 방식으로 구분되는데, 단변량 방식은 각 변수를 독립적으로 처리하여 예측하는 방식이고, 다변량 방식은 여러 변수 간의 상호작용을 고려하여 예측하는 방식이다. 기존 LLM 기반 시계열 예측 연구들은 주로 단변량 방식에 초점을 맞추고 있어 다변량 시계열 데이터에 내재된 변수 간 상관관계를 효과적으로 포착하지 못한다는 한계가 있다. 실제로 환경, 금융, 에너지 등 다양한 분야의 시계열 데이터는 여러 변수가 서로 영향을 주고받는 복잡한 관계를 형성하고 있어, 이러한 관계를 모델링할 필요가 있다. 이에 본 연구에서는 사전학습 LLM의 표현력을 유지하면서도 변수 간 상관관계를 효과적으로 반영할 수 있는 다변량 방식 시계열 예측 방법론을 제안한다. 구체적으로 제안 방법론은 시계열 데이터를 패치 단위로 분할한 후, 패치 인코더(Patch Encoder)를 통해 변수 간 의존성을 모델링하고, 이를 패치 리프로그래밍(Patch Reprogramming)을 통해 LLM이 처리할 수 있는 텍스트 표현으로 변환하여 사전학습된 LLM 기반 시계열 예측을 수행한다. 이때 패치 인코더는 완전 연결 계층과 비선형 활성화 함수를 결합한 구조로, 동일 시점의 여러 변수 간 복잡한 상관관계를 포착하도록 설계한다. 제안 방법론의 효과를 검증하기 위해 전력 변압기 온도 데이터셋(ETT)에 대해 실험을 수행하였으며, 실험 결과 제안 방법론이 단기 예측 및 단변량 예측 태스크에서 비교 모델 대비 MAE, MSE 측면에서 우수한 성능을 나타냄을 확인하였다.