智能汽车 · 2024年1月21日 0

HAOMO发布自动驾驶生成式大模型DriveGPT

【TechWeb】411消息,在HAOMO AI day,HAOMO发布首个自动驾驶大模型DRiveGPT中文名“湖•海若”,毫末智行CEO顾维灏示,DRiveGPT重塑智能技术线。据介绍,DRiveGPT湖•海若首发型是DHT-PHEV,即将上市

HAOMO发布自动驾驶生成式大模型DriveGPT

毫末智行董事张凯示:“2023年智驾产品进入全线爆发大模型开启端的落地应用主的使用频率和满意产品竞争的重要衡标准。”

顾维灏介绍,DRiveGPT过引入驾驶数据建立RLHF(类反馈强学习技术,对自动驾驶认知模型进行持续优化,现阶段主要于解决自动驾驶的认知问题,终极目标是实现端到端自动驾驶。

目前,毫末DRiveGPT湖•海若实现了模型架构与参数规模升级,参数规模达到1200亿,预训练阶段引入4000万公里驾驶数据RLHF阶段引入 5万段工精场景接管ClIPs。

HAOMO发布自动驾驶生成式大模型DriveGPT

DRiveGPT湖•海若的底层模型采GPT(GeneRative PRe-tRAIned TRansfoRMeR式预训练大模型,与ChatGPT使用自然语言进行输入与输不同,DRiveGPT输入是感知融合的文本序列,输自动驾驶场景文本序列,即将自动驾驶场景Token,形“DRive Language”,最终完的决规控、障碍物预测以及决逻辑链的输任务

HAOMO发布自动驾驶生成式大模型DriveGPT

顾维灏进一步阐释,DRiveGPT湖•海若具有三个能力

1. DRiveGPT湖•海若可以按概率很多个场景序列,每个场景都是一个全局的场景,每个场景序列都是未来有可能发的一实际情况

2.在所有场景序列都产的情况下,DRiveGPT湖•海若能把场景最受关注的自行为轨迹,也就是场景的同时,会产未来的轨迹信息

3. 有了自的轨迹信息,希望这条轨迹是可解释的,而GPT模型最擅长的领域便是对话和推理,DRiveGPT湖•海若也很好继承了这特性,在场景序列、轨迹的同时,也会把整个决逻辑链给输

HAOMO发布自动驾驶生成式大模型DriveGPT

顾维灏介绍,毫末在20231发布自动驾驶行业最大的智算MANA OASIS(湖• 绿洲)此次从算优化层面升级了三大能力,进一支持DRiveGPT湖•海若的算

HAOMO发布自动驾驶生成式大模型DriveGPT

首先,毫末与引擎了“全套大模型训练保障框架”,实现了异常任务分钟级捕获和恢复能力,可以保证任务连续训练数个月没有任何非断,有效保证了大模型训练稳定性;

HAOMO发布自动驾驶生成式大模型DriveGPT

其次,毫末研发以真实数据回传为核心的学习技术,并将其推广到了大模型训练,构了一个大模型持续学习系统,自主研发任务级弹性伸缩调器,分钟级调度资源,集群计算资源利率达到95%;

HAOMO发布自动驾驶生成式大模型DriveGPT

MANA OASIS提升数据吞吐本增效,满足TRansfoRMeR大模型训练效率,过引入引擎提供的Lego算子库实现算子融合,端到端吞吐提升84%。

HAOMO发布自动驾驶生成式大模型DriveGPT

谈到DRiveGPT湖•海若的实现过程,顾维灏介绍称,首先在预训练阶段过引入产驾驶数据,训练初始模型,再过引入驾驶接管ClIPs数据反馈模型(RewaRd Model)的训练,然后再过强学习方式使用反馈模型去不断优化迭代初始模型,形自动驾驶认知决模型的持续优

DRiveGPT湖•海若的一个关键设计,就是场景的Token化达,顾维灏把这种方式叫做DRive Language。

同时,DRiveGPT湖•海若还会根据DRive Language输入端的提示语以及毫末CSS自动驾驶场景库的决样本去训练模型,让模型习推理关系,从而将完整驾驶略拆分为自动驾驶场景的动态识别过程,完理解、可解释的推理逻辑

HAOMO发布自动驾驶生成式大模型DriveGPT

另外,顾维灏提到,DRiveGPT湖•海若可以逐应用到城市NOH、捷径推荐、智能陪练以及脱场景。有了DRiveGPT湖•海若的加持,辆行驶会更安全;动作更人性、更丝滑,并有合理的逻辑告诉驾驶者,辆为何选择这样的决策动作。对于普用户说,辆越越像老司户对智能产品的信任感会更强,理解到车辆的行为都是可预期、可理解的。

当前,毫末在使用数据过程中,逐建立起一套基于4D ClIPs驾驶场景识别方案,具备极比。在行业,给出确的标注结果,一张图片需要约5;如果使用DRiveGPT湖•海若的场景识别服务,一张图片的价格将下到0.5元。单帧图片整体标注成本仅相当于行业1/10。接下来,毫末会将图像帧及4D ClIPs场景识别服务逐步向行业开放使用,这将大幅降低行业使数据本,提数据质,从而加速自动驾驶技术的快速发展。

目前,毫末DRiveGPT湖•海若已正式对外放,开启对限量首批客户的合作,北计算机与信息技术学院、高通、火山引擎、华为云、京东科技、维图、魏牌能源、英特尔等已经加入。毫末DRiveGPT湖•海若大模型的成果将首发落地在搭载毫末HPilot3.0的新摩卡DHT-PHEV上。

顾维灏表示,毫末DRiveGPT雪湖•海若将携手生态伙伴率先探索四大应用能力,包括智能驾驶、驾驶场景识别、驾驶行为验证、难场景脱困。