AF-YOLOv8：双光自适应融合行人检测算法
赵京楠 ZHAO Jingnan, 刘洋 LIU Yang, 白雪琼 BAI Xueqiong, 吕勇 Lv Yong · Infrared and Laser Engineering · 2025
针对传统可见光目标检测算法在复杂环境中存在光照敏感行和遮挡处理能力不足等问题，提出了一种基于可见光与红外双模态自适应融合的行人检测算法 AF-YOLOv8。该算法采用双分支特征提取网络，并设计了一种结合空间注意力和通道注意力的自适应双模态特征融合模块（Cross-Modality Spatial-Channel Fusion Module, CSFM），通过动态加权融合跨模态特征，增强特征的互补性。此外，通过特征再融合模块（Feature Re-fusion Module, FRFM）进一步强化了模态间的协同感知能力，提高了模型对目标区域的关注度。为优化多尺度特征融合能力，文中还设计了 HS-PANet 网络，旨在减少传统上采样过程中语义信息丢失。同时，采用 Wise-IoUv3 损失函数，通过动态非单调聚焦机制降低低质量样本对训练的干扰。实验结果表明，在 LLVIP数据集上，AF-YOLOv8的mAP50 和mAP50:95较基线模型分别提高了1.9% 和8.1%；在KAIST 数据集上， mAP50 和mAP50:95分别提高了3.4% 和1.9%。此外，在 FLIR 数据集上验证了模型对多尺度目标检测的鲁棒性。最后，通过在LLVIP和KAIST数据集上的对比实验，定量与定性分析结果表明，AF-YOLOv8在行人检测任务中优于近年来的双光融合目标检测算法，具备良好的检测精度，尤其在复杂场景和多尺度目标下表现出色。