谷歌与 Artificial Analysis 推出 MKA:Gemini 4 Carbon 质量第二,任务成本约为榜首六分之一
据 IT之家 11 月 11 日报道,谷歌于当地时间 11 月 10 日宣布,与 AI 模型评测机构 Artificial Analysis 联合推出多模态知识智能体基准 MKA(Multimodal Knowledge Agent),重点考察 AI 处理视觉复杂文件、完成现实知识工作的能力。谷歌公布的结果显示,Gemini 4 Carbon 的交付质量位列参测模型第二,平均任务成本约为第一名模型的六分之一。这一测试将评估重点从单纯回答问题,转向能否完成多步骤专业项目。
MKA 测什么:从读懂文件到交付成果
谷歌 DeepMind 团队指出,不少现有知识工作测试仅靠文本就能完成,但真实工作通常还涉及图纸、示意图等视觉信息,以及将多个来源的材料整理为报告、演示文稿和电子表格。MKA 希望覆盖的,正是这类需要理解、交叉核验并生成交付物的任务。
据介绍,项目联合来自 10 个行业、83 种职业的领域专家,构建了 200 项正式任务,覆盖商业、建筑、教育、工程、金融、医疗、法律与政府等领域。每项任务包含工作提示词和一组多模态输入文件;谷歌称,经验丰富的专业人员通常需要 3 至 8 小时完成其中一项。
- 每项任务均有专家制定的评分标准,平均约含 70 个是非判断检查项。
- 评分权重中,事实准确性占 75%,视觉设计占 25%。
- 所有模型使用同一开源智能体框架 Stirrup,以及相同工具、沙箱环境和交互轮次预算。
- 200 项正式任务保持私有,另有 10 项示例任务在 Hugging Face 公开。
如何评分:不仅看答案,也检查文件
MKA 的最终成果由一个基于非谷歌模型构建的智能体评审系统打分。该系统会打开交付文件、渲染页面、检查电子表格公式,再按照专家标准核验结果。谷歌表示,领域专家人工评分与自动评审结果的一致率达到 96%。这为自动评分提供了参考依据,但仍应注意,该数字来自谷歌披露,并不意味着自动评审不存在误差。
正式题目不公开,意在降低测试内容泄露并进入模型训练数据的风险;公开示例则帮助开发者理解任务形式。两者分别服务于榜单有效性与开发者试用,但完整成绩仍需要结合评测条件理解。
产业解读:智能体竞争开始同时看质量与成本
对企业和工具开发者而言,MKA 更值得关注的信号是质量、成本与执行效率需要一起衡量。据谷歌披露,不同模型完成同一批任务,平均每项任务消耗的交互轮次在 30 至 130 轮之间。能够完成任务,并不代表执行过程同样经济。
Gemini 4 Carbon 此次排名与成本表现,展示了其在该测试条件下的性价比,但不能直接推导为所有业务场景中的成本优势。实际选型仍应核对自身文件类型、准确性要求及人工复核投入。尤其涉及工程、金融或医疗材料时,基准成绩不能替代专业审核。
目前,MKA 已通过 Artificial Analysis 开放,开发者可使用该平台评估模型;据报道,Gemini 4 Carbon 也已通过 Google AI Studio 中的 Gemini API 提供。对于准备落地智能体的团队,这类测试提供了比单项问答榜单更贴近工作流的观察维度。