Weakly supervised image semantic segmentation based on masked consistency mechanism
Jie Hu, 华东理工大学 信息科学与工程学院，上海 200237, ZHAO Haitao · Journal of Applied Optics · 2024
语义分割是一项广泛应用于无人驾驶、缺陷检测等场景的计算机视觉技术，但像素级的细粒度标注需要极大的标注成本，所以如何利用易获取的图像级标签进行弱监督语义分割是长期以来的研究重点。相较于仅依靠类激活映射图(class activation maps, CAM)实现像素级分割，提出掩码一致性机制(masked consistency mechanism, MCM)来提供额外的监督信号，以此来缩小全监督和弱监督之间的差距。在全监督语义分割中，网络对图像每一块的掩码预测都具有一致的像素级分割监督，因此在ViT(vision transformer)中屏蔽掉一部分图像块，并要求仅依靠保留的图像块生成的类激活映射图与依靠完整图像生成的类激活映射图一致，以此为网络训练提供额外的自监督信号。在PASCAL VOC 2012和MS COCO上进行的实验表明，本文方法在使用相同监督水平的情况下优于最先进的方法。