3月16日，百度在北京总部举行发布会，介绍新一代大语言模型及生成式人工智能产品“文心一言”。会上，首席技术官王海峰对其背后的文心大模型体系和核心技术能力进行了说明。
文心一言被定义为新一代知识增强大语言模型，也是继文心一格之后推出的又一生成式AI产品。它具备对话交流、内容生成、知识推理以及多模态生成等多方面能力。
据介绍，文心一言是在ERNIE和PLATO系列模型长期积累的基础上研发而成。其核心技术主要包括有监督精调、基于人类反馈的强化学习、提示学习、知识增强、检索增强和对话增强。
其中，前面三项属于当前大语言模型普遍采用的重要方法，相关能力此前已经在ERNIE和PLATO中得到应用，并在文心一言中进一步强化。后面三项则更多体现了其在既有技术基础上的延展与升级，也是模型能力持续提升的重要支撑。
知识增强能力
在知识增强方面，文心一言主要通过“知识内化”和“知识外用”两种方式发挥作用。
所谓知识内化，是指从大规模知识和无标注数据中进行学习，围绕语义单元构建训练数据，并将相关知识融入模型参数之中。知识外用则是引入外部多源异构知识，用于知识推理、提示构建等任务，从而提升模型对复杂问题的处理能力。
检索增强能力
在检索增强方面，文心一言依托以语义理解和语义匹配为核心的新一代搜索架构。通过结合搜索结果，模型可以获得时效性更强、准确度更高的参考信息，从而更好地响应用户需求。
对话增强能力
在对话增强方面，依托长期的对话技术和应用积累，文心一言具备记忆机制、上下文理解以及对话规划能力，能够在交互中表现出更好的连贯性、合理性和逻辑性。
底层技术支撑
王海峰还提到，百度自2010年起便开始系统布局人工智能技术，并在芯片、深度学习平台、大模型及应用等多个层面持续推进研发。通过不同技术层之间的反馈和协同，实现了端到端优化。
在支撑能力方面，飞桨深度学习平台为文心一言提供了效果、效率和性能层面的支持。面向模型开发与训练，飞桨的动静统一开发范式以及自适应分布式架构，有助于实现大模型的灵活开发和高效训练。
在推理和部署阶段，飞桨还支持大模型高效推理，并提供服务化部署能力，包括计算融合、软硬协同下的稀疏量化、模型压缩等技术手段。文心大模型与飞桨平台的结合，被视为产业智能化的重要基础。
随着两者进一步融合，相关人工智能技术与应用研发有望朝着更标准化、自动化和模块化的方向发展，推动更多行业场景落地，也为模型自身的持续迭代提供支撑。
