Images super-resolution reconstruction of transposed self-attention with local feature enhancement
Yang Sun, Jianwei Ding, Qi Zhang, Qiyao Deng · Journal of Image and Graphics · 2024
目的超分辨率（super resolution，SR）重建任务通过划分窗口引入自注意力机制进行特征提取，获得了令人瞩目的成绩。针对划分窗口应用自注意力机制时会限制图像信息聚合范围、制约模型对特征信息进行建模的问题，本文基于转置自注意力机制构建全局和局部信息建模网络捕捉图像像素依赖关系。方法首先采用轻量的基线模型对特征进行简单关系建模，然后将空间维度上的自注意力机制转换到通道维度，通过计算交叉协方差矩阵构建各像素点之间的长距离依赖关系，接着通过引入通道注意力块补充图像重建所需的局部信息，最后构建双门控机制控制信息在模型中的流动，提高模型对特征的建模能力及其鲁棒性。结果实验在5个基准数据集Set5、Set14、BSD100、Urban100、Manga109上与主流方法进行了比较，在不同比例因子的SR任务中均获得了最佳或者次佳的结果。与SwinIR（image restoration using swin Transformer）在×2倍SR任务中相比，在以上5个数据集上的峰值信噪比分别提升了0.03 dB、0.21 dB、0.05 dB、0.29 dB和0.10 dB，结构相似度也获得了极大提升，同时视觉感知优化十分明显。结论所提出的网络模型能够更充分地对特征信息全局关系进行建模，同时也不会丢失图像特有的局部相关性。重建图像质量明显提高，细节更加丰富，充分说明了本文方法的有效性与先进性。