互联网资讯 · 2023年11月29日 0

某公司声称其大模型在中文能力上超越了GPT3.5

9月7日消息,腾讯混元大模型今日正式发布,并通过腾讯云向公众开放。腾讯集团副总裁蒋杰表示,混元大模型在中文处理能力上已超越GPT3.5。

腾讯称混元大模型中文能力超过GPT3.5

腾讯混元大模型是腾讯自主研发的通用大语言模型,具有超过千亿的参数规模,并使用了超过2万亿Tokens的预训练语料。

腾讯称混元大模型中文能力超过GPT3.5
腾讯称混元大模型中文能力超过GPT3.5

从测试结果来看,混元大模型的回答准确性超过GPT3.5。例如,GPT3.5提到关羽会独孤九剑的说法显然不正确。

蒋杰指出,混元大模型能够显著减少“胡言乱语”,其出现幻觉的频率比主流开源大模型降低了30%至50%。

腾讯称混元大模型中文能力超过GPT3.5
腾讯称混元大模型中文能力超过GPT3.5

在超速问题上,国内厂商大模型和GPT3.5均认为这是危险行为,但都给出了相应的建议。混元大模型和GPT4则明确识别了这一陷阱,强调超速的危险性,并建议用户遵守交通规则。

腾讯称混元大模型中文能力超过GPT3.5
腾讯称混元大模型中文能力超过GPT3.5

在回答问题方面,混元大模型和GPT4提供了详细的解题思路和正确答案,而其他模型则给出了错误答案。

腾讯混元大模型的训练数据截至2023年7月,并将按月进行迭代更新。

蒋杰介绍称,混元大模型是从零开始训练的,涵盖了从模型算法、机器学习框架到AI基础设施的全链路自主研发技术。

自2021年以来,腾讯陆续推出了千亿和万亿参数的NLP稀疏大模型,并在CLUE三大榜单上创造了新的记录,取得了中文理解能力上的重大进展。

此外,腾讯还自主研发了机器学习框架Angel,使训练速度比行业主流框架快一倍,推理速度提升了1.3倍。

在中国信通院的《大规模预训练模型技术和应用的评估方法》标准测试中,混元大模型在“模型开发”和“模型能力”两个领域的综合评价中获得了当前最高分。在主流评测集MMLU、CEval和AGI-eval上,混元大模型表现优异,尤其是在中文理科、高考题和数学等方面表现突出。

目前,腾讯混元大模型已被超过50个腾讯业务和产品接入测试,包括腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档、微信搜一搜、QQ浏览器等,并取得了初步成效。

例如,腾讯会议基于混元大模型开发的AI小助手,在指令理解、会议问答、会议摘要和待办事项等方面均获得了较高的用户接受度。

腾讯称混元大模型中文能力超过GPT3.5

在文档处理方面,腾讯混元大模型支持多种文本创作场景,已在腾讯文档的智能助手功能中得到应用。同时,它还能一键生成标准格式文本,精通数百种Excel公式,支持自然语言生成函数,并根据表格内容生成图表,这些功能目前正在内测中,未来将面向用户开放。

腾讯称混元大模型中文能力超过GPT3.5

在广告业务场景中,腾讯混元大模型能够智能化地创作广告素材,适应行业和地域的特点,以满足个性化需求,实现文字、图片和视频的自然融合。

腾讯称混元大模型中文能力超过GPT3.5

今年6月,腾讯云推出了模型即服务(MaaS)解决方案,提供涵盖模型预训练、精调和智能应用开发的一站式行业大模型服务。最近,腾讯云还全面接入了LlaMa 2、BlooM等20多个主流模型,与混元一样,均支持直接部署调用。客户可以根据需求,基于混元或开源模型,打造自己的行业大模型。