CNN and Transformer-coordinated deepfake detection
Ying Li, Shan Bian, Wang Chuntao, Wei Lu · Journal of Image and Graphics · 2023
目的深度伪造视频检测是目前计算机视觉领域的热点研究问题。卷积神经网络和Vision Transformer(ViT)都是深度伪造检测模型中的基础结构，二者虽各有优势，但都面临训练和测试阶段耗时较长、跨压缩场景精度显著下降问题。针对这两类模型各自的优缺点，以及不同域特征在检测场景下的适用性，提出了一种高效的CNN(convolutional neural network)结合Transformer的联合模型。方法设计基于EfficientNet的空间域特征提取分支及频率域特征提取分支，以丰富单分支的特征表示。之后与Transformer的编码器结构、交叉注意力结构进行连接，对全局区域间特征相关性进行建模。针对跨压缩、跨库场景下深度伪造检测模型精度下降问题，设计注意力机制及嵌入方式，结合数据增广策略，提高模型在跨压缩率、跨库场景下的鲁棒性。结果在FaceForensics++的4个数据集上与其他9种方法进行跨压缩率的精度比较，在交叉压缩率检测实验中，本文方法对Deepfake、Face2Face和Neural Textures伪造图像的检测准确率分别达到90.35%、71.79%和80.71%，优于对比算法。在跨数据集的实验中，本文模型同样优于其他方法，并且同设备训练耗时大幅缩减。结论本文提出的联合模型综合了卷积神经网络和Vision Transformer的优点，利用了不同域特征的检测特性及注意力机制和数据增强机制，改善了深度伪造检测在跨压缩、跨库检测时的效果，使模型更加准确且高效。