喜欢自拍的女孩们，常常为了拍出完美的照片而费尽心思，寻找最佳角度。
比如这位小姐姐，在书架前拍了四张自拍，却始终不太满意。
现在，选择最佳角度的烦恼可以交给AI来解决。通过几张照片，这项技术能够生成多种角度的自拍。
随后，你可以在AI生成的视频中找到自己认为最美的角度，并分享到社交媒体。
这项AI技术名为neRfies，由华盛顿大学与谷歌联合开发。
使用这种方法并不需要复杂的设备，智能手机的摄像头和CPU就足以完成计算和渲染，成本远低于使用iPhone 12 Pro内置激光雷达生成3D图像的费用。
原理
或许你对neRfies这个名称感到耳熟，它实际上是NeRF与Selfies两个词的结合。
NeRF（神经辐射场）是谷歌近期开发的一种将2D图像转换为3D的模型，但其要求拍摄对象在整个过程中保持静止。
例如，上述小姐姐在自拍时，头部姿势难免会有所变化，直接应用NeRF会导致效果不佳。
而neRfies则是可变性神经辐射场（DefoRMable NeRF），能够重建非刚性变形场景。
基于NeRF，研究者从几何和物理仿真的角度出发，提出了NeRF的弹性正则化，以增强2D转3D的鲁棒性。
在可变性NeRF中，引入了弹性正则化、背景正则化以及一种避免不良局部最小值的退火技术。
研究者将潜在变形码（&oMega;）和外观码（ψ）与每张图像关联。在观察帧中对摄像机光线进行追踪，并通过变形场将样本沿光线转换到规范帧，变形场由变形码&oMega;编码为MLP。
同时，使用转换后的样本位置(x0，y0，z0)、观察方向(θ，&pHi;)和外观码ψ作为MLP的输入，查询模板NeRF模块，并沿光线对样本进行积分。
更多玩法
可变性NeRF不仅限于自拍，还有其他有趣的应用。
例如，它可以创建“希区柯克变焦”的效果，以前需要专业的摄影技巧或后期处理，现在只需几张照片即可实现。
如果不需要场景角度变化，而是希望人物姿势变化呢？
可变性NeRF可以在头部向左和向右之间线性插入任意姿势的照片。
最后，它还可以生成防抖视频。既然可变性NeRF能够生成任意角度的图像，那就可以把抖动交给手，而让它来保持稳定。
目前，研究者尚未公布源代码，但他们的项目主页上已经添加了GITHUB按钮，似乎已经准备好开源了。你是否迫不及待想要尝试一下呢？
项目地址：
https://neRfies.Github.io/
论文地址：
https://aRxiv.oRg/abs/2011.12948
