互联网资讯 · 2023年11月16日 0

通用人工智能迎来大语言模型的曙光

2023年WAVE SUMMIT深度学习开发者大会在北京举行,由深度学习技术及应用国家工程研究中心主办。百度的首席技术官王海峰在大会上发表了主题演讲,首次公开阐述了大语言模型所具备的理解、生成、逻辑和记忆等核心能力,为通用人工智能的发展带来了新的希望。

自2019年4月起,WAVE SUMMIT深度学习开发者大会已持续举办。王海峰在首届大会中指出,深度学习具有广泛的通用性,并展现出标准化、自动化和模块化的工业生产特征,这为人工智能的工业化发展奠定了基础。经过四年的发展,深度学习技术的通用性得到了充分验证,深度学习平台的标准化、自动化和模块化特征愈加明显,而预训练大模型的兴起则进一步拓展了人工智能应用的深度和广度,标志着人工智能已真正进入工业生产阶段。

在标准化方面,通过框架和模型的联合优化,实现了多硬件的统一适配,简化了应用模式,大幅降低了人工智能应用的门槛;在自动化方面,从训练到推理部署,提升了人工智能研发的全流程效率;在模块化方面,丰富的产业级模型库支持了人工智能在多种场景下的便捷应用。

通用人工智能迎来大语言模型的曙光

王海峰指出,得益于飞桨的产业级深度学习开源平台和文心大模型的共同促进,飞桨生态愈加繁荣,目前已经吸引了800万开发者,并为22万家企事业单位提供服务,基于飞桨构建了80万个模型。他还解释了飞桨开发者社区“星河社区”的深刻内涵:“文心加飞桨,翩然赴星河”。希望与所有开发者共同构建星河社区,携手迈向通用人工智能的未来。

通用人工智能迎来大语言模型的曙光

王海峰进一步表示,人工智能的多种典型能力中,理解、生成、逻辑和记忆是核心基础能力。这四项能力越强,人工智能就越接近通用化,而大语言模型正是具备了这四项能力,为通用人工智能的实现带来了新的契机。

例如,创作、编程、解题和规划等能力均依赖于理解、生成、逻辑和记忆等基础能力,依赖程度不同。以解题为例,从理解题目、解答到最终写出答案,需综合运用理解、记忆、逻辑和生成能力。

那么,这些能力如何获得呢?以文心一言为例,它首先通过融合数万亿的数据和数千亿的知识,形成了预训练大模型。随后,通过有监督的精细调优和人类反馈的强化学习等技术手段,结合知识增强、检索增强和对话增强等技术优势进行进一步优化。

此外,通过多种策略优化数据源和数据分布,实施基础模型长文建模以及多类型、多阶段的有监督精调等技术创新,全面提升基础通用能力。在知识和检索增强的基础上,强化对世界知识的理解;通过构建逻辑数据和语义知识组合,提升逻辑能力;同时,建立数据、内容、模型和系统的安全体系,以保障大模型的安全性。

在效率方面,借助飞桨的端到端自适应混合并行训练技术,以及压缩、推理和服务部署的协同优化,文心大模型的训练速度提高了三倍,推理速度则突破了30倍。

在应用方面,通过数据驱动、提示构建和插件增强来适应不同场景,文心一言已推出百度搜索、览卷文档、E言易图、说图解画和一镜流影五大插件,使模型具备生成实时准确信息、长文本摘要、数据洞察和图表制作等多种能力。插件机制的引入扩展了大模型的能力边界,更加贴合实际场景需求。王海峰表示,未来百度将与开发者共同建设插件生态,分享技术创新的成果。

以大语言模型为代表的人工智能正在深入各行各业,加速产业升级和经济增长。在这一进程中,技术的创新与应用的落地形成了良性循环,理解、生成、逻辑和记忆等能力不断提升,产业应用的广度和深度持续扩展,大语言模型为实现通用人工智能带来了新的曙光。