智能汽车 · 2024年2月12日 0

商汤科技推出首个“感知决策一体化”自动驾驶通用大模型

618日-22日,全球计算机视觉盛会CVPR 2023computer Vision and PatteRn RecognITion)在加拿大温哥华举行。本届CVPR文投稿总达9155篇,最终共有2369篇文被接收。最佳文候12篇,接收率仅为0.13%。

商汤两篇文登最佳文候(AwaRd Candidate),其自动驾驶研究文《planning-oRiented AutonOMOUS DRiving》(以规划为导向的自动驾驶)斩获本届CVPR最佳best PapeR AwaRd)。

商汤科技推出首个“感知决策一体化”自动驾驶通用大模型

这是CVPR历史第一篇以自动驾驶为主题的最佳文,该首次感知决一体化自动驾驶大模型UniAD,创了以全局任务目标自动驾驶大模型架构先河, 标志着自动驾驶技术重要突破, 为自动驾驶技术与产的发方向

CVPR 2023最佳文,自动驾驶研究重要突破

自动驾驶技术复杂,需要融合多领域的知识和技能,包括传感器技术习、规划方面自动驾驶还需要适应不同的规则和交,与辆和行进行良好交互,以实现度可靠和安全的自动驾驶系统。大部分自动驾驶相关的工作都聚焦在具体的某个模块,缺少能够实现端到端联合优化网络模型。

文提自动驾驶算法框架——Unified AutonOMOUS DRiving(UniAD)首次将检测、跟踪、图、轨迹预测,占据栅格预测以及规划整合到一个基于TRansfoRMeR 的端到端络框架下,更效契合了“多任务”和“性能”的特,取得自动驾驶技术研究重要突破

商汤科技推出首个“感知决策一体化”自动驾驶通用大模型

商汤科技联合创始、首席科家、绝影智能群总裁晓刚示,UniAD是首个感知决一体化的端到端自动驾驶解决方案,并且整体系统和性能取得大幅提升,代未来自动驾驶技术的发趋势。

端到端的优在多关键技术指标上超越了SOTA。比如,多目标跟踪准确率超越SOTA 20%,车道线预测准确率提升30%,预测运动位移误差降低38%,规划误差降低28%。

商汤科技推出首个“感知决策一体化”自动驾驶通用大模型

UniAD 是一项极具创新性的自动驾驶技术,且因其具有很大的潜应用价值,目前在和工都引起了广泛兴趣和关注

随着智能(AGI)引领的二次革命的到,以此为基础待在未来推动实现更阶的自动驾驶智能

CVPR 2023最佳文候选,加速推动AIGC时代真实感3D内容

真实 3D 物体的感知、理解、重是计算机视觉领域一直倍受关注的问题。由于缺乏大规模真实扫描三维数据库,最近在三维物体方面的进大多依赖于合数据

为促进现实世界3D感知、重的发,论文《OMniObject3D: LaRge-VocabulaRy 3D Object Dataset foR Realistic PeRception, ReconstRUCtion and generation》提了OMniObject3D,一个具有大规模质量真实扫描3D物体的大型词汇3D物体数据,覆盖近200个类别、约6000个三维物体数据,包括高精网格、、多视角渲染图像和实景采的视频,借助专业扫描设备保证了物体数据的精细形状和真实纹理。

商汤科技推出首个“感知决策一体化”自动驾驶通用大模型

OMniObject3D是目前最大的真实三维扫描模型数据,为未来三维视觉研究提供了广阔空间。

数据集,研究员精探讨了点云识别、神经渲染、表、三维多种术任务的鲁棒性和泛化性,验证其从感知、重建、到领域开放前景,有望在AIGC 时代推动真实感3D生方面发挥至关重要的作。持续引前沿创新,是商汤在以大装置SenseCoRe和大模型为核心的AI基础设施领域长期投入,并坚持产研协同创果。

王晓刚教授认为,在大算、大数据的支撑下,大模型将以更强大的通用能力引发人工智能领域的巨大变革,同时也会拓展我们的研究视野,激发一轮研究范式革新

自今年4月初“商汤日日SensEnova”大模型体系公布以商汤大模型已在气象预报、遥感解译、放环境中的决策问题等领域取得了诸多突破性成就。未,商汤将继续与产学研各界共同拥抱和探索大模型带来的范式革,为AI的前沿探索开拓方向和新路径。