RGB_D salient object detection algorithm based on complementary information interaction
Xinyue Ye, Zhu Lei, Wang Wenwu, Yun Fu · Journal of Image and Graphics · 2024
目的通过融合颜色、深度和空间信息，利用RGB_D这两种模态数据的显著目标检测方案通常能比单一模态数据取得更加准确的预测结果。深度学习进一步推动RGB_D显著目标检测领域的发展。然而，现有RGB_D显著目标检测深度网络模型容易忽略模态的特异性，通常仅通过简单的元素相加、相乘或特征串联来融合多模态特征，如何实现RGB图像和深度图像之间的信息交互则缺乏合理性解释。为了探求两种模态数据中的互补信息重要性及更有效的交互方式，在分析了传统卷积网络中修正线性单元（rectified linear unit，ReLU）选通特性的基础上，设计了一种新的RGB和深度特征互补信息交互机制，并首次应用于RGB_D显著目标检测中。方法首先，根据该机制提出了互补信息交互模块将模态各自的“冗余”特征用于辅助对方。然后，将其阶段式插入两个轻量级主干网络分别用于提取RGB和深度特征并实施两者的交互。该模块核心功能基于修改的ReLU，具有结构简单的特点。在网络的顶层还设计了跨模态特征融合模块用于提取融合后特征的全局语义信息。该特征被馈送至主干网络每个尺度，并通过邻域尺度特征增强模块与多个尺度特征进行聚合。最后，采用了深度恢复监督、边缘监督和深度监督3种监督策略以有效监督提出模型的优化过程。结果在4个广泛使用的公开数据集NJU2K（Nanjing University 2K）、NLPR（national laboratory of pattern recognition）、STERE（stereo dataset）和SIP（salient person）上的定量和定性的实验结果表明，以Max F-measure、MAE（mean absolute error）以及Max E-measure 共3种主流测度评估，本文提出的显著目标检测模型相比较其他方法取得了更优秀的性能和显著的推理速度优势（373.8 帧/s）。结论本文论证了在RGB_D显著目标检测中两种模态数据具有信息互补特点，提出的模型具有较好的性能和高效率推理能力，有较好的实际应用价值。