要完成这样的3D人脸建模，需要经过哪些步骤？
在数据采集阶段，核心在于“手机 + 3.5分钟”这一组合。
仅凭这3.5分钟的数据，就能够生成高保真、可用于驱动的真实3D人脸头像。
相关研究来自某研究实验室，论文已被主要学术会议接收，且适用于虚拟现实（VR）等应用场景。
换言之，在VR世界中，未来你可能不再以卡通化的脸庞出场，而是与真实外观的朋友更自然地“见面”。
研究还展示了如何让“真身”在虚拟环境中更自然地呈现。
方法原理
整体流程分为三个部分。
第一步，是用大规模多视角人脸数据集来训练一个超网络。该网络可以通过解码器输出属于个人的头像参数。
数据集包含来自255位不同年龄、性别和族群参与者的面部图像，覆盖多种视角。
用于获取3D人脸的装置曾在2019年投入使用，具备171个高分辨率摄像头，能够以每秒记录大量数据，单次采集时间约为1小时。
其中，解码器的核心模块是带有偏置映射的卷积上采样层，这些偏置映射用于生成体积单元，并通过射线追踪实现头像渲染。
解码器的结构还能将视线与其他面部活动区分开来，这对于VR应用来说，能更直接地与眼动追踪系统协同工作。
其次：轻量级人脸表情捕捉
在这项研究中，采集人脸仅需一部带深度传感的智能手机即可。
实验中使用的是iPhone 12。
采集过程如下所示：
数据需要经过如下处理：提取每一帧人脸的几何形状与纹理；对RGB图像进行人脸标志检测与分割；对模板网格进行拟合和变形，以匹配检测到的标志物、轮廓和深度信息；对每帧纹理进行解包，汇总为完整的人脸纹理。
在模型不断完善的过程中，还需要采集65种特定表情：
最终，输出的3D人脸头像不仅能高度匹配外观，还能通过全局表情空间进行驱动和控制。
研究人员表示，整个采集过程大约需要3.5分钟。
需要说明的是，建模过程并非实时，数据处理通常需要数小时。
实验结果
那么，实际效果如何？让我们看看对比结果。
与某一张照片生成3D数字化身的方法相比，该方案能够生成更具真实感的人脸模型。
与其他机构提出的基于单帧视频的头部模型方法相比，该方法在保真度方面也表现更优。
当然，也存在一定局限性：对于长发、佩戴眼镜等情形，可能出现伪影；对光照条件也有一定依赖。
