Multi-path collaborative salient object detection based on RGB-T images
Jiang Tingting, Yü Liu, Xin Ma, Jinglin Sun · Journal of Image and Graphics · 2021
目的显著性目标检测是机器视觉应用的基础，然而目前很多方法在显著性物体与背景相似、低光照等一些复杂场景得到的效果并不理想。为了提升显著性检测的性能，提出一种多支路协同的RGB-T（thermal）图像显著性目标检测方法。方法将模型主体设计为两条主干网络和三条解码支路。主干网络用于提取RGB图像和Thermal图像的特征表示，解码支路则分别对RGB特征、Thermal特征以及两者的融合特征以协同互补的方式预测图像中的显著性物体。在特征提取的主干网络中，通过特征增强模块实现多模图像的融合互补，同时采用适当修正的金字塔池化模块，从深层次特征中获取全局语义信息。在解码过程中，利用通道注意力机制进一步区分卷积神经网络（convolutional neural networks，CNN）生成的特征在不同通道之间对应的语义信息差异。结果在VT821和VT1000两个数据集上进行测试，本文方法的最大F-measure值分别为0.843 7和0.880 5，平均绝对误差（mean absolute error，MAE）值分别为0.039 4和0.032 2，相较于对比方法，提升了整体检测性能。结论通过对比实验表明，本文提出的方法提高了显著性检测的稳定性，在一些低光照场景取得了更好效果。