3D stylized portrait synthesis and structured face modeling
Jiaping Hu, Yang Zhou · Journal of Image and Graphics · 2024
目的现有的三维人脸风格化方法难以生成较大相机姿态的人脸视图，或止步于生成多角度的人脸视图，而非结构化的三维网格模型。鉴于此，提出一种基于样例的三维人脸风格化与结构化建模方法。方法该方法不仅能够合成新的全相机视角下的风格化人脸视图，还具有生成结构化的人脸三维网格模型的能力，即包括人脸三维网格以及对应的纹理贴图。具体来说，提出了一个两阶段的结构化三维风格人脸生成框架，主要包括三维感知人脸生成器域迁移、基于多视图约束的人脸纹理优化两个步骤。首先，利用二维人脸风格化数据增强策略微调三维感知生成器，然后通过一个视图对齐策略对齐基于隐式神经场的渲染视图以及基于三维网格的渲染视图，再利用多视图约束的梯度回传优化人脸模型的纹理贴图，最后通过融合多幅纹理贴图得到最终的纹理贴图。结果本文三维感知人脸生成结果FID（Fréchet inception distance）指标优于对比实验中基于扩散模型的方法，并能在多种风格域中生成整洁高质量的结构化人脸模型。结论该方法能够有效构建高质量的结构化三维风格人脸模型，生成高质量的全角度风格人脸视图与纹理贴图。此外，显式构建的结构化人脸模型能够更为便捷地用于三维人脸相关下游任务。