机器之心专栏

NeRFFaceEditing 由中科院计算所和香港城市大学的研究人员合作完成，相关技术论文在计算机图形学顶级会议 ACM SIGGRAPH Asia 2022 上发表。

项目主页：http://geometrylearning.com/NeRFFaceEditing/

Part I 背景

近些年，随着神经辐射场 [1] 与对抗式生成 络 [2] 的结合，各种高质量、快速渲染的三维人脸生成 络被提出，其中包括 EG3D [3]。

图 3 EG3D 的不同视角的生成效果与几何表示

该方法的三平面表示结合了传统的二维生成对抗 络和最新的三维隐式表征，因此继承了 StyleGAN [4] 的强大生成能力和神经辐射场的表征能力。但是，这些生成模型并不能对人脸的几何和材质进行解耦控制，而解耦控制几何和材质是三维角色设计等应用不可或缺的功能。

Part 2 NeRFFaceEditing 的算法原理

更进一步，为了实现对于几何和材质的解耦控制，NeRFFaceEditing 将原始的单个解码器分解为了几何解码器和材质解码器。几何解码器输入从标准化三平面采样得到的特征，预测密度和语义标签，用于表达三维人脸的几何和语义掩码体（Volume）。而几何特征与材质特征 (a) 通过可控制的材质模块（CAM）模块组合后，再从中采样特征输入材质解码器预测颜色。最后通过体渲染，得到某一视角下的人脸图像与对应的语义掩码。而在给定一个不同的材质特征 (b) 的情况下，几何特征与材质特征 (b) 通过 CAM 模块和体渲染可以得到另一张几何不变而材质改变的人脸图像。整体 络结构如下图所示：

图 4 NeRFFaceEditing 的 络架构

除此之外，为了约束拥有同一材质特征，但几何不同的样本渲染结果在材质上相似，NeRFFaceEditing 利用生成好的语义掩码，使用直方图特征来分别表示这些材质特征相同，几何不同的样本不同脸部组成部分，例如头发、皮肤等，在颜色上的分布。然后优化这些样本在各个组成部分上颜色分布的距离和。如下图所示：

图 5 材质相似约束训练策略

Part 3 效果展示与实验对比

除此之外，还可以基于参考图片，进行三维一致的三维空间内材质风格迁移：

图 7 三维人脸风格迁移

在此基础上，可以实现解耦的人脸插值变形应用，如下图以左上角和右下角作为起止点，对相机、几何、材质进行线性插值：

图 8 解耦人脸变形效果展示

图 10 真实图像风格迁移的例子。可以看到 SofGAN 有一定的瑕疵，而且在身份上有一定变化。

Part 4 结语与致谢

NeRFFaceEditing 系统，通过对三维人脸生成 络进行解耦设计，可以将用户在二维视角上对于语义掩码的修改，转变为对于整个三维空间的几何修改，并且保证材质不改变。除此之外，借助对于风格迁移效果强化的训练策略，可以实现有效的三维空间内材质风格迁移。NeRFFaceEditing 的论文已经被计算机图形学顶级会议 ACM SIGGRAPH ASIA 2022 录用。

http://geometrylearning.com/NeRFFaceEditing/

引用

1. Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. Nerf: Representing scenes as neural radiance fields for view synthesis. In European conference on computer vision (pp. 405-421). Springer, Cham.

2. Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative adversarial networks. Advances in neural information processing systems, 27.

3. Eric R. Chan, Connor Z. Lin, Matthew A. Chan, Koki Nagano, Boxiao Pan, Shalini De Mello, Orazio Gallo, Leonidas Guibas, and Jonathan Tremblay. Efficient geometry-aware 3D generative adversarial networks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 16123-16133. 2022.

4. Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, and Timo Aila. Analyzing and improving the image quality of stylegan. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 8110-8119. 2020.

5. Shu-Yu Chen, Wanchao Su, Lin Gao, Shihong Xia, and Hongbo Fu. DeepFaceDrawing: Deep generation of face images from sketches. ACM Transactions on Graphics, Vol. 39, No. 4, 2020, 72:1-72:16.

6. Shu-Yu Chen, Feng-Lin Liu, Yu-Kun Lai, Paul L. Rosin, Chunpeng Li, Hongbo Fu, and Lin Gao. DeepFaceEditing: Deep Face Generation and Editing with Disentangled Geometry and Appearance Control. ACM Transactions on Graphics, Vol. 40, No. 4, 2021, 90:1–90:15.

7. Feng-Lin Liu, Shu-Yu Chen, Yukun Lai, Chunpeng Li, Yue-Ren Jiang, Hongbo Fu, and Lin Gao. DeepFaceVideoEditing: Sketch-based deep editing of face videos. ACM Transactions on Graphics, Vol. 41, No. 4, 2022, 167:1-167:16.

8. Xun Huang, and Serge Belongie. Arbitrary style transfer in real-time with adaptive instance normalization. In Proceedings of the IEEE international conference on computer vision, pp. 1501-1510. 2017.

9. Daniel Roich, Ron Mokady, Amit H. Bermano, and Daniel Cohen-Or. Pivotal tuning for latent-based editing of real images. ACM Transactions on Graphics, Vol. 42, No. 1, 2023, 6:1–6:13.

10. Anpei Chen, Ruiyang Liu, Ling Xie, Zhang Chen, Hao Su, and Jingyi Yu. Sofgan: A portrait image generator with dynamic styling. ACM Transactions on Graphics, Vol. 41, No. 1, 2022, 1:1-1:26.