Image inpainting with foreground-background semantic decoupling
Xueyi Ye, Mingcong Sui, Xue Zhiquan, Jiaxin Wang, Chen Huahua · Journal of Image and Graphics · 2025
目的修复前后的图像在语义上保持一致是图像修复研究遵循的基本规则之一。然而，现有的图像修复方法往往忽视了图像前景与背景间的语义区别，从而在修复过程后二者相互影响导致边缘模糊和语义混杂等问题。针对此问题，提出了一种基于语义解耦前景背景的图像修复方法。方法此方法由3个步骤组成：语义修复、前景修复以及整体修复。初始阶段，对缺失的语义标签图进行修补；随后，采用经过修复的语义图将缺损图像的前景与背景分离，然后将损坏的前景区域输入到前景修复模块进行修复；最终，将修复后的前景区域嵌入到损失的图像中，输入到整体修复模块完成整体修复及前景背景融合。结果在公开的CelebA-HQ人脸数据集和Cityscapes街景数据集上与现有同类方法进行比较，本文方法在学习感知图像块相似度、峰值信噪比和结构相似性指标上表现更好；相较于对比方法的最优平均值，在CelebA-HQ数据集上，学习感知图像块相似度降低8.86%，结构相似性提高1.10%，且此方法峰值信噪比均值达到27.09 dB；在Cityscapes数据集上，学习感知图像块相似度降低4.62%，结构相似性提高0.45%，且此方法峰值信噪比均值达到27.31 dB。消融实验的数据表明了算法各个环节的必要性和有效性。结论该图像修复方法通过将前景背景的语义解耦，采用三段式算法流程递进完成图像修复，有效减少了语义混乱和边界模糊的影响，修复后生成的图像前景背景边界清晰，颜色风格和谐，语义连贯。