互联网资讯 / 人工智能 · 2023年12月3日 0

手机瞬间生成3D全息图的新技术

一张图片的焦距可以在老鼠玩具和日历尺之间自由切换:

甚至可以对图片上的任意物体进行对焦,展示不同物体在不同深度下的照片:

这张神奇的图片,实际上是集成了所有物体信息的全息图。

生成这种类型的全息图通常需要大量的计算资源。

然而,来自MIT的研究团队开发了一种新算法,该算法无需复杂的设备,也不需要耗费几个小时,只需在智能手机上花费不到1秒钟的时间即可生成全息图。

值得注意的是,就在去年11月份,三星的科学家们生成3D全息视频时所使用的处理器仍然过于庞大,无法集成到手机中:

那么,这种快速生成3D全息图的方法究竟是如何实现的呢?

利用神经网络快速生成全息图

首先,什么是全息图呢?

以Visa信用卡上的鸽子为例,它就是利用全息图作为防伪标志。

全息图包含了物体的幅度和相位信息,而普通相机拍摄的照片仅记录了物体的幅度信息(亮度),而相位信息(物体的远近)却无法直接保存。

这就是为什么我们平时看到的2D照片缺乏立体感的原因。

此前,计算机要想360度全方位生成全息图,通常需要从多个角度进行干涉和衍射,然后将相位信息拼合到一起,再与振幅信息叠加生成最终图像。

多角度生成相位信息就像是在一个球形蛋糕上精准切割8刀,将其分成8块,并对每一块进行相位的重现:

然而,这种方法所需的计算量往往巨大,耗时较长,完全无法在智能手机上操作。

因此,MIT团队思考是否可以采用深度学习的方法,只通过3个角度就将蛋糕切成8块,从而生成全息图?

他们精心挑选了4000张包含幅度和相位信息的图像,以及这些图像对应的3D全息图,用于训练神经网络。

整体思路大致为:获取物体的相位信息后,生成点云,然后结合残差神经网络生成整体全息图。

那么,这种全息图的效果如何呢?

可以对焦任意物体,内存占用不到1MB

事实证明,利用神经网络进行预测时,仅需不到640KB的内存便可生成全息图。

在消费级GPU上,这种神经网络模型每秒可以生成60张分辨率为1080p的彩色3D全息图。

而在智能手机如iPhone 11 Pro上,每秒可生成1.1张全息图;在Google Edge TPU上,每秒则能生成2张全息图。

以动画角色大雄兔为例,右下角是它的深度图。

从图中可以看出,利用神经网络生成的全息图与传统方法生成的全息图几乎无差别。

无论是远处的小黄花,还是近处的兔子眼睛,都能完美对焦。

表面上看似相同,但在幅度和相位信息的具体表现上又如何呢?

从图中可见,利用神经网络预测的幅度和相位信息与真实值非常接近。

即使是现实照片,也与实际生成目标非常接近。

当然,从细节来看,仍然存在一些微小的差距。

相比于现有的虚拟现实(VR)和增强现实(AR)方案,3D全息图提供了另一种3D可视化的实现方案。

使用VR时,用户实际上是在注视2D显示屏,产生3D错觉,可能会导致视觉疲劳和头晕等症状。

而3D全息图允许眼睛调整焦距,可以交替对前景和背景进行聚焦,从而有效缓解这些症状。

下一步,团队计划添加眼球追踪技术,让用户注视的地方生成高清全息图的一部分。

在这种方案下,计算机只需部分生成全息图,实时运用时效果也能更快更好。