Metadata-informed transformers for informative time series forecasting
Jiaxiang Dong, Haixu Wu, Yuxuan Wang, Li Zhang, Jianmin Wang, Mingsheng Long · Scientia Sinica Informationis · 2025
时间序列预测在金融分析、能源规划等领域中具有重要的应用价值. 以往研究主要聚焦于时间序列自身模态, 致力于捕捉其数值变化特征. 然而, 本文注意到, 除了数值模态外, 描述领域、变量和任务的元数据能够有效区分不同的预测场景, 对时间序列的准确预测十分重要. 基于这一观察, 本文提出了一种元数据引导的时序变换器网络MetaTST, 能够有效地将特定场景下的多层级元数据融入深度模型, 实现富信息支撑的时间序列预测. 具体地, MetaTST首先通过预定义的解析模板, 将非结构化元数据信息标准化为自然语言形式的元数据描述, 然后利用大语言模型将其编码为元数据令牌, 以作为原有数值模态的补充; 进一步, MetaTST采用Transformer编码器将时间序列数据与元数据令牌深度融合, 借助丰富的元数据信息扩展时序表征, 让模型能够自适应感知不同的预测场景与任务, 从而实现更准确的时序预测. 在实验中, MetaTST在时间序列短期和长期预测基准数据集上取得了一致最优的预测性能, 特别是在处理大规模、多样化的时间序列预测任务时表现出色.