最近,3D特效领域引发了不少关注,尤其是当一款新的图形模拟器问世后,特效师们的工作可能会面临巨大的变化。
大家是否还记得前段时间在某公司电子屏幕上展示的海浪特效?那种人工制作的效果,往往需要耗费大量的人力与财力,毕竟每一滴水都象征着粉丝的贡献。

然而,现在有了新的技术进展,DeepMind和斯坦福大学的研究团队推出了一款名为GNS的图形网络模拟器。通过这一框架,AI只需“观察”场景中的流体,就能将其逼真地模拟出来。
无论是流体、刚性固体,还是可变形材料,GNS能够进行极为精确的模拟。研究人员表示:
GNS框架是当前最精确的物理模拟器。
而且,这项研究最近还被顶级学术期刊Science收录。

这引发了人们的联想,清华大学的胡渊鸣曾开发的太极(Tic)软件,显著降低了CG特效的制作门槛,同时效果也十分真实。
在DeepMind和斯坦福大学的研究中,胡渊鸣的太极仍然发挥了重要作用。
研究团队利用太极来进行2D和3D场景的基线效果测试。
效果到底好到什么程度?Science在社交媒体上评价道:

“好莱坞或许会考虑投资这款模拟器。”
随着技术的进步,3D特效的实现变得愈发简单,甚至让人类能够快速脑补出特定场景的动态效果。
那么,AI生成的效果是否与人类的想象相符呢?
例如,水滴落入玻璃容器的3D效果。

与我们想象中的物理效果几乎一致,毫无差别。
左侧的基线方法称为SPH(Smoothed Particle Hydrodynamics),这是一种自1999年提出的基于颗粒的流体模拟方法。
而右侧,AI通过“观察”而预测得到的结果,则是研究团队提出的GNS方法。
可以观察到,二者在细节处理上存在显著差异。

GNS在细节处理上更为精细,能够更真实地反映出我们对水花的印象。
当然,GNS不仅限于流体模拟,还能处理其他状态的物体。
例如,颗粒状的沙子。

还有粘性物体。

这两种基线方法分别是MPM(Material Point Method),自1995年提出,适用于可变形材料的相互作用。
同样,在颗粒落在玻璃容器壁上的细节处理上,GNS的预测结果与现实物理效果高度吻合。
那么,这种逼真的效果是如何实现的呢?
图形网络模拟器的基本原理在于将物体离散成多个颗粒,并通过模拟器进行动态模拟。
以往,对于真实物体的模拟需要依赖大量的计算,而MPM就是其中一种方法。
该方法通过将材料分解为许多颗粒,并计算空间导数及动量方程来实现。
经过胡渊鸣等人的改进,物体的速度得到了显著提升,相比于早期的MPM快了两倍左右。

此外,一种名为PBD的方法,可以计算出方块在水面上的动态效果;

而这两种方法之外,还有一古老经典的SPH方法,常用于计算生成功能流体的3D特效。

与这些方法相比,如果用神经网络对其进行训练,效果将会更加出色。
网友们对这种想法感到惊奇,因为人脑对于流体或物体撞击的模拟并非依赖复杂的力学公式,而是通过神经网络实现的。
DeepMind的研究团队正是基于此,利用GNS对生成的模型进行训练,模拟物体在真实场景中的特效。
图示为GNS模拟物体的基本原理,展示了如何将物体输入到动模型中,生成的结果用于更新物体的动态状态。

只要模拟器足够快速,我们就能看到物体在玻璃盒中受到撞击、不断变形的过程。

△ 图右为模拟器生成的效果
核心在于,如何实现动模型的构建?
团队采用了“三步走”的方法,将模型划分为编码器、处理器和解码器三个部分。

物体经过编码器后,编码器会将原本分散的颗粒重新架构,并组合成一个“看不见的”图。

在处理器中,各颗粒之间的关系不断发生变化,这些信息在网络中迭代更新。

最终,解码器从最后一次迭代中提取出所需的信息。

反馈给物体后,颗粒会逐帧改变,最终模拟出液体的形态。

可以看到,无论是哪种物体的形态,GNS预测的效果都与真实值非常接近。
创新点在于,GNS能够将不同物体类型转化为输入向量的特征,只需将不同物体特征区分,就能展现出它们的状态。
相比之前名为DLP的液体模拟器,GNS显得过于简洁。
同样是模拟流体模型,DLP需要不断保存颗粒之间的相对位移,甚至还需要修改模型以满足不同流体类型的需求,计算量庞大。
不仅如此,GNS的模拟效果还比基于DLP的模拟器更为优秀。
细节表现更为出众。
下图展示了GNS与一款基于DLP的增强版模拟器的效果对比。
与DLP相比,GNS在不同物体类型的模拟表现依旧优秀,以下是二者共同模拟一个漂浮在水上的方块时所生成的效果。

可以看到,GNS模拟的方块与真实情况相符,而DLP模拟的方块则在水的冲击下变形。
如果以均方误差(MSE)进行对比,在各物体形态下,GNS的表现都优于DLP。

此外,GNS在不同策略下的表现也显示出强大的适应能力。
总结来看,这项研究主要由DeepMind与斯坦福大学的合作团队完成。
论文的共同作者共有四位。
Alva Ro Sanchez-Gonzalez本科与硕士阶段分别攻读物理与计算机专业,博士期间专注于解决物理研究中的挑战。
2017年加入DeepMind团队,主要研究结构化方法与强化学习等。
Jonathan Godwin在2018年加入DeepMind,并于2019年晋升为高级研究工程师。
他曾有创业经历,曾担任信息科技服务公司的CEO。
在创业后加入DeepMind之前,他在计算机软件公司担任过一年的机器学习工程师。
Tobias Pfaff是DeepMind的研究科学家,专注于物理模拟和机器学习的交叉研究。
他在苏黎世联邦理工学院和加州伯克利分校分别获得博士和博士后的学位。
第四位共同作者是Rex Ying,目前在斯坦福大学攻读博士学位,研究集中在图形结构数据的机器学习算法。
2016年以最高荣誉毕业于杜克大学,主修计算机科学和数学。
&hell;IP&hell;IP;
最终,AI通过“观察”模拟复杂的流体运动,网友们对此表示惊讶,认为人脑的模拟能力依赖于神经网络,而非复杂的力学公式。
这项技术或许还将大幅降低影视和游戏行业的特效成本。
你认为这样的技术未来会如何发展呢?
