互联网技术 / 互联网资讯 · 2023年11月9日 0

利用2D图片搜索3D模型的新技术研究

随着AI技术的不断进步,研究的重点正逐步从二维图像转向更具挑战性的三维模型。12月3日,阿里技术团队宣布成功研发出一种全新的3D AI算法,该算法能够基于2D图像精准搜索对应的3D模型,准确率提升了10%。这一进展将有助于降低3D打印、虚拟现实看房、场景导购等领域的技术门槛,该研究成果已被国际顶级会议NeuRIPS 2020收录。

尽管在3D打印和虚拟现实等应用场景中,技术逐步成熟,但以3D搜索为核心的智能技术仍处于初期研究阶段。传统AI方法在处理2D图像的颜色、纹理信息与3D模型形状信息之间的差异时,匹配准确率较低。近年来,卡耐基梅隆大学、麻省理工学院、斯坦福大学等顶尖学术机构纷纷加大对这一领域的研究投入。

利用2D图片搜索3D模型的新技术研究

根据国际AI顶级会议NeuRIPS 2020的官方信息,阿里技术团队首次提出了一种全新的3D搜索方法。该方法要求AI首先学习大量复杂的2D图像样本,以降低纹理等干扰信息的影响,使得AI网络能够更加专注于几何细节的学习,从而更好地理解2D图像与3D模型之间的差异。

实验结果表明,训练后的算法模型能够更有效地与3D模型数据集进行匹配,在不同数据集上的准确率平均提高了约10%。例如,用户只需提供一张家具照片,系统就能直接找到该家具的3D模型。

论文的作者之一、阿里淘系技术算法专家付欢表示,3D搜索、3D重建和3D显示是3D领域的基础技术。未来,随着算法和3D数据集的不断增强,用户将能够通过搜索引擎找到各种物品的3D模型。

据了解,阿里技术团队在3D重建、3D搜索等技术领域已经取得了多项突破,这些技术已在淘宝3D购、躺平设计家等场景中得到应用。今年3月,阿里巴巴与多位国际知名学者合作,共同开源了业界首个涵盖丰富纹理细节的大型3D家具数据集(3D-FUTURE),吸引了斯坦福大学、加州大学伯克利分校、清华大学、香港中文大学等高校,以及苹果、Facebook等企业进行前沿的学术和应用研究。