人工智能

Artificial Analysis 发布指数 v5:DeepSeek V4.1 Flash 获真实代码评测已开放权重模型最高分

2026年10月29日 · admin
OpenMagic API

据 IT之家 10 月 29 日报道,Artificial Analysis 于前一日发布 Intelligence Index v5,完成自 2026 年 1 月 v4 上线以来最大幅度的基准重构。新版将 60% 的评测权重建立在私有测试集或隐藏答案之上,并引入更贴近真实软件开发的评分方式。其中,DeepSeek V4.1-Flash 1017(max)在 FrontierCode 2.0 中取得 28%,为已发布权重模型中的最高成绩,但这一单项表现不能等同于综合能力领先。

编码评测从“跑通测试”转向“愿不愿合并”

v5 仍包含九项评测,知识工作、编码、科学和通用能力各占 25%。编码部分由 FrontierCode 2.0 与 Terminal-Bench 4.0 构成,分别占总指数的 15% 和 10%。Cognition 同日发布的 FrontierCode 2.0 因而成为影响编码表现的重要项目。

这项评测的 132 个任务全部来自真实开源仓库。模型提交代码后,不再仅凭单元测试通过率判定,而由仓库维护者按照是否愿意合并该 PR 评分;任何一项阻塞性检查失败,该任务即记零分。评价核心由“代码能运行”转向“改动可被项目接受”,将改动范围、代码风格和回归风险等工程要求纳入考量。

  • DeepSeek V4.1-Flash 1017(max):FrontierCode 2.0 得分 28%。
  • Gemini 4 Argon(high):25.7%;GPT-6 Luna:25.2%。
  • Kimi K3.1 Pro:25.5%,但报告标注其权重尚未发布;据官方博客,完整权重计划于 11 月 4 日前发布。

单项领先之外,综合差距仍需正视

在 Intelligence Index v5 综合评分中,DeepSeek V4.1 Flash 与 GLM-5.3 均为 32 分,低于 Claude Haiku 5.5 的 36 分,与榜首 Claude Opus 5.5 的 58 分相差 26 分。Kimi K3.1 Pro 获得 46 分,但由于权重尚未公开,不能与已经可获取权重的模型混为一谈。

Artificial Analysis 指出,最强开放权重模型与榜首的差距,从 v4.3 的 3 分扩大至 v5 的 12 分;若只看已发布权重的模型,当前最高综合分为 32 分。这并不意味着模型突然退步,而是评测对象与评分尺度发生了变化。更多隐藏题和智能体实战任务,让面向公开题库优化的成绩更难直接延续到新版榜单。

对开发者而言,成绩还要与推理成本一起看

新版也放大了思考等级带来的差异。Claude Opus 5.5 从低努力档到 max 档提高 23 分,单任务成本则从 0.98 美元升至 10.04 美元。在得分最高的十款模型中,每任务成本最低为 GPT-6.1 Terra 的 0.96 美元,最高为 Claude Fable 5.1 的 13.04 美元。

对中文开发者和企业选型者来说,模型名称、思考档位、任务表现和成本应放在同一张表里比较。真实仓库的可合并性,比单纯生成可运行代码更接近研发需求,但仍需结合自身代码库验证。同步推出的 Progress Index v1,则试图解决基准持续更新后,不同时期模型难以直接比较的问题:榜单可以帮助筛选工具,却不宜替代实际业务测试。