Multi-scale context information fusion for instance segmentation
Wan Xinjun, Yiyun Zhou, Mingfei Shen, Tao Zhou, Fuyuan Hu · Journal of Image and Graphics · 2023
目的实例分割通过像素级实例掩膜对图像中不同目标进行分类和定位。然而不同目标在图像中往往存在尺度差异，目标多尺度变化容易错检和漏检，导致实例分割精度提高受限。现有方法主要通过特征金字塔网络（feature pyramid network，FPN）提取多尺度信息，但是FPN采用插值和元素相加进行邻层特征融合的方式未能充分挖掘不同尺度特征的语义信息。因此，本文在Mask R-CNN（mask region-based convolutional neural network）的基础上，提出注意力引导的特征金字塔网络，并充分融合多尺度上下文信息进行实例分割。方法首先，设计邻层特征自适应融合模块优化FPN邻层特征融合，通过内容感知重组对特征上采样，并在融合相邻特征前引入通道注意力机制对通道加权增强语义一致性，缓解邻层不同尺度目标间的语义混叠；其次，利用多尺度通道注意力设计注意力特征融合模块和全局上下文模块，对感兴趣区域（region of interest，RoI）特征和多尺度上下文信息进行融合，增强分类回归和掩膜预测分支的多尺度特征表示，进而提高对不同尺度目标的掩膜预测质量。结果在MS COCO 2017（Microsoft common objects in context 2017）和Cityscapes数据集上进行综合实验。在MS COCO 2017数据集上，本文算法相较于Mask R-CNN在主干网络为ResNet50/101时分别提高了1.7%和2.5%；在Cityscapes数据集上，以ResNet50为主干网络，在验证集和测试集上进行评估，比Mask R-CNN分别提高了2.1%和2.3%。可视化结果显示，所提方法对不同尺度目标定位更精准，在相互遮挡和不同目标分界处的分割效果显著改善。结论本文算法有效提高了网络对不同尺度目标检测和分割的准确率。