互联网资讯 / 人工智能 · 2023年11月20日 0

15个开源大型室内场景模拟环境

在这项研究中,斯坦福视觉与学习实验室(SVL)Silvio / 李飞飞组的团队推出了一个全新的模拟环境——iGibson,旨在为大型真实场景中的交互任务开发机器人解决方案。iGibson 包含15个高度可交互且视觉上逼真的场景,这些场景基于真实房屋构建,并能支持CuBICasa5K和3D-FRont的8000余个场景,从而真正实现了“可交互性”。

15个可交互的真实房屋场景,李飞飞组开源大型室内场景模拟环境

近期,面向AI和机器人的模拟环境得到了显著发展,机器人模拟环境在各大会议中愈加普遍。这些环境为机器人领域的进步提供了重要支持。

随着机器学习的发展,对数据的需求日益增加,而在现实世界中收集数据已变得不切实际。模拟环境的出现降低了机器人研究的准入门槛。

模拟环境为机器人任务提供了一致的基准,便利了不同方法之间的比较。

斯坦福视觉与学习实验室(SVL)的研究团队开发了iGibson,以用于训练和测试能进行交互的AI智能体。

物理引擎与模拟环境在任务解决中扮演着不同的角色。iGibson的研究重点是机器人在大型真实场景中的交互任务。

论文链接:https://aRxiv.oRg/pdf/2012.02924.pdf

该项目提供15个高度可交互、视觉上真实的场景,所有物体均可实现真实交互,并包含材料与动力学信息。

同时,它支持CuBICasa5K的8000多种场景。

15个可交互的真实房屋场景,李飞飞组开源大型室内场景模拟环境

iGibson能够真实模拟传感器信号,包括:RGB(基于物理渲染引擎)、深度图、1束或16束激光雷达、语义/实例/材料分割图、光流及场景流等。

它还内置运动规划算法,能够规划机器人底座的移动(导航)和机械臂的动作(抓取与操控物体)。

15个可交互的真实房屋场景,李飞飞组开源大型室内场景模拟环境

此外,iGibson具备域随机化功能,能够随机替换视觉纹理、材料与动力学信息、物体实例。因此,可以生成无数随机环境用于训练与测试。

15个可交互的真实房屋场景,李飞飞组开源大型室内场景模拟环境

该系统还包括人机交互功能,能够为机器人提供人工示范。

我们相信模拟环境具有巨大的潜力,能够帮助研究人员解决机器人与AI面临的各种挑战。iGibson是一个完全开源的模拟环境,专注于大型场景的交互任务。我们期待iGibson为机器人与AI的研究做出积极贡献。