互联网技术 / 互联网资讯 · 2024年3月13日

合成数据实现真实人脸分析的最新进展

在人脸分析任务中,合成数据也能达到接近真实数据的准确性。

这一方向的最新研究展示了一个将程序生成的3D人脸模型与合成数据库结合来训练图像的方法,结果在脸部解析等任务上与使用真实数据的方法相当。

研究团队表示,这为那些难以进行人工标注的场景开辟了新路径。

未来是否真的会逐步摆脱人工标注?这是值得关注的问题。

如何实现这一目标?

要让人脸数据集更加多样化、丰富化,单靠收集和标注已经越来越困难。更何况网络抓取也会带来隐私与版权方面的挑战,而人工标注则容易出现错误或标签不一致的情况。

因此,研究团队考虑以合成数据来增加或替代真实数据。不过以往在实现上面临人脸模型复杂性带来的挑战。

这次的实现思路与步骤有哪些?

第一步,程序生成合成面孔,涵盖身份、表情、面部纹理、发型与服饰,以及在不同光线条件下的呈现。

所有数据都来自独立采样,事先去除噪音,以确保可以创建更多样化的个体。

此外,服装部分由设计师和模拟师共同制作,提供了多达30套不同风格的服装。

还包括头饰(36件)、面具(7件)以及眼镜(11件)。

另外,还为数据创建了相应的标签信息。

进入训练阶段,研究者构建了一个包含10万张分辨率为512×512的图像数据集,并在数据上进行了增强处理,共使用了150张NVIDIA M60 GPU进行渲染,耗时约48小时。

此外,团队还训练了仅使用合成数据的脸部解析网络,以及用于解决合成标签与人工注释标签之间差异的标签适应网络。

最终,人在脸部分析、地标定位等任务上的表现与采用真实数据的模型相当。

不过,研究者也坦言该技术仍存在一定局限性。

例如,合成的人脸模型目前仅覆盖头部和颈部,难以真实还原皱纹等细节,且在随机匹配人脸时可能出现不符合常理的结果,比如出现带胡须的女性人脸等。

在后续工作中,研究团队计划逐步改进以解决这些局限性。