互联网资讯 / 人工智能 · 2023年12月28日

微型相机可供蚂蚁使用

最近,普林斯顿的研究团队推出了全球首个高质量微米级光学成像设备「NeuRal Nano-Optics」,并在《Nature Communications》上发表了相关成果。这款装置在成像效果上与体积大50万倍的相机镜头不相上下,在许多场景中表现出色!

看看这朵湛蓝色的花儿,正缓缓绽放,层层花瓣如海浪般起伏。

微型相机可供蚂蚁使用

而另一朵紫色花朵的绽放瞬间,同样令人叹为观止。

微型相机可供蚂蚁使用

然而,这些美丽画面的真正亮点,恰恰在于拍摄它们的相机镜头。

手中拿着的镜头,竟然是这样的小巧。

微型相机可供蚂蚁使用

这小小的正方形薄片,边长也仅与几条指纹的宽度相当!

更令人惊叹的是,传统光学镜头,例如苹果的iPhone X,其后置镜头就是这样的。

微型相机可供蚂蚁使用

仔细观察,后置镜头内部其实叠加了多层透镜。

因此,这种大尺寸光学元件不仅沉重,还占据了大量空间。

要不,我们来将这个小薄片与搭载大型复合折射透镜的传统相机进行对比?

结果真是令人惊喜!

微型相机可供蚂蚁使用

在微观拍摄中,这个小薄片的物体还原度竟与多层透镜相当,甚至画面更为明亮。

虽然在广角拍摄上小薄片稍显不足,但建筑轮廓的还原依然相当不错。

微型相机可供蚂蚁使用

这款小薄片被称为「NeuRal Nano-Optics」,其学名为「MetasuRfACE optics」,意为超构表面光学器件。

微型相机可供蚂蚁使用

注意到中间那圈白色部分了吗?没错,那就是成像装置,只有一粒粗盐那么大!

研究人员表示,「NeuRal Nano-Optics」与体积大50万倍的EdMund Optics 50MM F2.0镜头在许多场景下相当。

微型相机可供蚂蚁使用

那么,这款小相机究竟有多神奇?

在过去几十年中,感光元件的小型化使得相机被应用于医疗成像、智能手机、机器人和自动驾驶等多个领域。

如果光学成像设备能够再小一个数量级,那它将在纳米机器人、体内成像、增强现实/虚拟现实和健康监测等领域开辟新的应用。

普林斯顿的研究人员最近提出了这款超小型光学成像设备「NeuRal Nano-Optics」,并在《Nature Communications》上发表了相关论文。

这款相机具备全色(400至700纳米)覆盖、40度的宽视野成像和F2.0的光圈。

微型相机可供蚂蚁使用

相关论文可在此查阅:链接

项目地址:链接

「NeuRal Nano-Optics」在现有所有超构表面透镜设计中表现出色,是全球首个实现高质量、宽视野彩色成像的超构表面光学成像设备。

超构表面(MetasuRfACE)是一种厚度小于波长的超薄人工结构,能够灵活有效地调控电磁波的偏振、振幅、相位、极化方式和传播模式等特性。

微型相机可供蚂蚁使用

传统光学元件的物理尺寸通常较大,这是因为传统镜头通过弯曲光波来实现成像。当光波穿过镜头时,它在不同部分会以不同角度折射。

通常,工程师会将多个单独的镜头叠加在一起(称为复合镜头),以特定方式引导和控制光线。

微型相机可供蚂蚁使用

典型的凸(会聚)镜头使光波弯曲,以便在焦点处汇聚。

由于传统成像系统需要由多种折射元件组成以纠正像差,这些笨重的镜头也限制了相机的设计。

另一个显著的挑战是缩小焦距,因这可能导致更大的色差。

而超构表面光学器件通过其独特结构与光的相互作用,能够用一层极薄的平面结构实现同样的效果。

微型相机可供蚂蚁使用

镜头体积问题解决了,传感器呢?

其实,亚微米像素的光学传感器早已问世,但其成像效果常常受到传统光学理论的限制。

因此,仅仅缩小传感器并不能完全解决问题。由于受限于孔径和光圈,现有亚微米像素传感器的图像质量远不及大型光学相机。

普林斯顿的研究人员是如何突破这一难题的呢?

答案是AI!

在这项研究中,作者提出的NeuRal Nano-Optics表面虽小,但其背后拥有一个完整的可微分深度学习框架,结合基于神经特征的图像重建算法,从而学习超构表面的物理结构,实现了比现有技术低一个数量级的重建误差。

超构表面代理模型

作者使用高效的可微分代理函数进行学习,该函数将相位值映射到空间变化的点扩散函数(PSF)。文章中提出的可微分超构表面成像模型由可微分张量运算的三个连续阶段构成:超表面相位确定、PSF模拟并进行卷积,以及传感器噪声。

在他们的模型中,决定超表面相位的多项式系数是可以优化的变量。

微型相机可供蚂蚁使用

可优化的超表面相位函数ϕ,以距光轴的距离R作为自变量,写成如下形式:

微型相机可供蚂蚁使用

其中{a0,&hellIP;an}为可优化系数,R为相位掩膜半径,n为多项式项数。

在这一相位函数的基础上优化超表面,而不是逐像素优化,旨在避免局部极小值的出现。

微型相机可供蚂蚁使用

这种可微分方法NeuRal Nano-Optics在与可选的前向模拟方法比较时,两者的精度相近,但可微分方法的效率比FTDT等全波模拟方法高出3000倍,同时更节省内存。

微型相机可供蚂蚁使用

此外,可微分框架NeuRal Nano-Optics还具有一些技术亮点。

基于特征的反卷积

为从测量数据中恢复图像,作者提出了一种基于特征的神经反卷积方法,结合了已学习的先验知识,能够推广到未见过的测试数据。具体来说,该方法采用了一个可微分逆滤波器和神经网络进行特征提取和细化。