RGB-T tracking network based on multi-modal feature fusion
Jing Jin, Jian‐Qin Liu, Fengwen Zhai · Optics and Precision Engineering · 2025
近年来，RGB-T跟踪方法因可见光与热红外图像的互补特性而在视觉跟踪领域得到广泛应用。然而，现有方法在模态互补信息利用方面仍存在局限，特别是基于Transformer的算法缺乏模态间的直接交互，难以充分挖掘RGB和TIR模态的语义信息。针对这些问题，提出了一种多模态特征融合的RGB-T目标跟踪网络（Multi-Modal Feature Fusion Tracking Network for RGB-T，MMFFTN）。该网络首先在骨干网络提取初步特征后，引入通道特征融合模块（Channel Feature Fusion Module，CFFM），实现RGB和TIR通道特征的直接交互与融合。其次，针对RGB和TIR模态差异可能导致的融合效果不理想问题，设计了跨模态特征融合模块（Cross-Modal Feature Fusion Module，CMFM），通过自适应融合策略进一步融合RGB和TIR的全局特征，以提升跟踪的准确性。对本文提出的跟踪模型在GTOT，RGBT234和LasHeR三个数据集上进行了详细的实验评估。实验结果表明，与当前先进的基于Transformer的跟踪器ViPT相比，MMFFTN在成功率（Success Rate）和精确率（Precision Rate）上分别提升了3.0%和4.7%；与基于Transformer的跟踪器SDSTrack相比，成功率和精确率分别提升了2.4%和3.3%。