Integrated generation-detection approach for pedestrian recognition in dark-light conditions
Yuxiang Shen, Xin Cindy Guo, Hao Wang, Kai Hu, Tao Chao · Journal of Image and Graphics · 2025
目的暗光环境下的行人检测是计算机视觉领域的一项重大挑战，其难点在于光照不充分会导致行人特征模糊不可辨识。传统方法一般通过图像增强或生成红外图像提供补充信息解决这一问题。但由于其增强过程与下游检测任务存在分离，限制其应用性能。针对这一问题，提出一种面向暗光条件下行人识别的生成检测一体化方法，旨在解决传统范式中暗光图像数据增强和下游检测任务间的割裂问题。方法提出一种端到端生成检测一体化架构，利用条件扩散模型从暗光图像生成辅助红外模态图像，并通过生成的多尺度特征提升目标检测性能。此外，为了避免梯度无法经过VAE（variational autoencoder） 解码器传递的问题，进一步提出生成检测端到端联合优化策略。结果在LLVIP（low-light visible-infrared paired dataset）和VTMOT（visible-thermal multiple object tracking dataset）数据集上的实验结果表明，本文方法在总体精度指标上显著优于传统方法和其他先进方法。在LLVIP数据集上，本文方法的F1值为85.75%，平均精度均值（mAP）为75.35%，优于传统方法中结果最佳的SCI（self-calibrated illumination）方法（F1值82.05%，mAP值72.30%）和其他先进方法中结果最佳的Faster_RCNN_hrnet（F1值82.91%，mAP值70.02%）。在VTMOT数据集上，本文方法同样表现优异，F1值为90.01%，mAP为73.44%，优于SCI方法（F1值85.91%，mAP值72.19%）和Faster_RCNN_hrnet（F1值84.48%，mAP值71.16%）。此外，消融实验验证了生成模块和联合优化策略在整体框架中的有效性。结论本文证明了生成检测一体化框架在复杂低光环境下的优越性，有效解决了生成过程与检测任务割裂的问题。未来研究将进一步优化生成效率，并扩展该方法至更多多模态应用领域。