三维重建常见概念/小问题

《Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network》–《基于位置贴图回归 络进行三维人脸重建和密集对齐》论文学习笔记

问题1：什么是三维人脸重建/h2>

从一张或多张2D图像中重建出人脸的3D模型。

问题2：3D人脸模型/h2>

可以用这样一个表达式来建模3D人脸模型：M=(S,T)。
其中，S表示人脸3D坐标形状向量（shape-vector），包含X,Y,Z坐标信息：

问题6：什么是人脸姿态/h2>

姿态：（pitch，yaw，roll）三种角度，分别代表上下翻转，左右翻转，平面内旋转的角度。

问题14：End-to-end（端到端）学习/h2>

非端到端：相对于深度学习，传统机器学习的流程往往由多个独立的模块组成，比如在一个典型的自然语言处理（Natural Language Processing）问题中，包括分词、词性标注、句法分析、语义分析等多个独立步骤，每个步骤是一个独立的任务，其结果的好坏会影响到下一步骤，从而影响整个训练的结果，这是非端到端的。
端到端：而深度学习模型在训练过程中，从输入端（输入数据）到输出端会得到一个预测结果，与真实结果相比较会得到一个误差，这个误差会在模型中的每一层传递（反向传播），每一层的表示都会根据这个误差来做调整，直到模型收敛或达到预期的效果才结束，这是端到端的。
两者相比，端到端的学习省去了在每一个独立学习任务执行之前所做的数据标注，为样本做标注的代价是昂贵的、易出错的。

问题15：UV position map（UV位置贴图）/h2>

作用：1.记录完整人脸点云的3D坐标；2.在每个UV位置保留了语义。
性质：2D图像

问题16：Weight mask（权值面具）/h2>

作用：为位置映射图上的每个点分配不同的权重，并计算加权损失。
优点：有助于提高 络性能。

问题17：什么是FPS/h2>

FPS是图形领域中的定义，指的是每秒传输帧数，通俗来讲就是指动画或视频的画面数。FPS是测量用于保存、显示动态视频的信息数量。

问题18：什么是重采样（re-sample）/h2>

重采样：就是根据一类象元的信息内插出另一类象元信息的过程。在遥感中，重采样是从高分辨率遥感影像中提取出低分辨率影像的过程。
常用的重采样方法有最邻近内插法（nearest neighbor interpolation）、双线性内插法（bilinear interpolation）和三次卷积法内插（cubic convolution interpolation）。其中，最邻近内插法最为简单，计算速度快，但是视觉效应差；双线性插值会使图像轮廓模糊；三次卷积法产生的图像较平滑，有好的视觉效果，但计算量大，较费时。

问题19：残差 络（Residual Networks, ResNets）/h2>

误差是衡量观测值和真实值之间的差距，残差是指预测值和观测值之间的差距。
实验表明，残差 络更容易优化，并且能够通过增加相当的深度来提高准确率。
核心是解决了增加深度带来的副作用（退化问题），这样能够通过单纯地增加 络深度，来提高 络性能。
参考博客：
https://www.cnblogs.com/wuliytTaotao/p/9560205.html
https://www.cnblogs.com/alanma/p/6877166.html
https://zhuanlan.zhihu.com/p/42706477

问题20：转置卷积层/h2>

转置卷积层（transposed convolution layer）又称反卷积层或分数卷积层，可用于用于恢复减少的维数（上采样）。转置卷积层我们就会用stride小于1的卷积进行上采样，使输出的size变大。

问题21：三角 格(Triangle Mesh)/h2>

三角 格是多边形 格的一种，多边形 格又被称为“Mesh”，是计算机图形学中用于为各种不规则物体建立模型的一种数据结构。现实世界中的物体表面直观上看都是由曲面构成的；而在计算机世界中，由于只能用离散的结构去模拟现实中连续的事物。所以现实世界中的曲面实际上在计算机里是由无数个小的多边形面片去组成的。比如下图的这些模型，在计算机渲染后由肉眼看是十分平滑的曲面，而实际上，计算机内部使用了大量的小三角形片去组成了这样的形状。这样的小面片的集合就被称作Mesh。Mesh既可以由三角形组成，也可以由其他平面形状如四边形，五边形等组成；由于平面多边形实际上也能再细分成三角形。所以，使用全由三角形组成的三角 格（Triangle Mesh）来表示物体表面也是具有一般性的。
参考博客：
https://blog.csdn.net/datase/article/details/72704584

问题22：OBJ文件/h2>

OBJ文件是Alias|Wavefront公司为它的一套基于工作站的3D建模和动画软件”Advanced Visualizer”开发的一种标准3D模型文件格式，很适合用于3D软件模型之间的互导。
(1)OBJ文件是一种3D模型文件。不包含动画、材质特性、贴图路径、动力学、粒子等信息。
(2)OBJ文件主要支持多边形(Polygons)模型。虽然也支持曲线(Curves)、表面(Surfaces)、点组材质(Point Group Materials)，但Maya导出的OBJ文件并不包括这些信息。
(3)OBJ文件支持三个点以上的面，这一点很有用。很多其它的模型文件格式只支持三个点的面，所以导入Maya的模型经常被三角化了，这对于我们对模型进行再加工甚为不利。
(4)OBJ文件支持法线和贴图坐标。在其它软件中调整好贴图后，贴图坐标信息可以存入OBJ文件中，这样文件导入Maya后只需指定一下贴图文件路径就行了，不需要再调整贴图坐标。

问题23：文章创新

设计一个2D表示名为UV位置贴图，它记录了完整人脸在UV空间的3D形状，然后训练了一个卷积神经 络从2D图像中回归出UV位置贴图，将权值面具整合到损失函数中，以在训练中提高 络表现。该方法不依赖任何人脸模型，就能重建3D人脸且保留语义信息。