OpenAI 首席科学家提议为先进 AI 设共同开发门槛,警告最快 2027 年出现加速
据 IT之家 11 月 23 日报道,OpenAI 首席科学家雅库布·帕霍茨基于当地时间 11 月 22 日发文,建议 AI 企业建立统一标准,为先进模型开发设置共同门槛。在研究人员具备更可靠的模型理解与监控能力之前,企业不应越过约定限制。OpenAI CEO 萨姆·奥尔特曼公开支持这一提议。其核心担忧是:AI 最早可能在 2027 年加速预训练技术的发展,而安全研究未必能同步跟上。
为什么用困惑度讨论开发门槛?
帕霍茨基认为,传统能力测试会随着模型进步迅速过时,因此提出用困惑度作为观察预训练进展的参考。困惑度衡量模型预测下一个文本 Token 的能力,数值越低,通常意味着预测越准确。此次披露的数据采用的是对数困惑度,不能将其与具体任务成绩直接画等号。
- GPT-3.5 的对数困惑度约为 0.99,GPT-4 约为 0.91。
- 指标低于 0.8 时,OpenAI 观察到模型在网络安全和数学领域出现新能力。
- 指标达到约 0.76 时,模型开始在部分开放数学问题上取得突破性成果。
- 当指标进入 0.68 至 0.7 区间,帕霍茨基预计可能出现更多变革性能力,但具体表现尚不确定。
这些观察构成了他提出限制的依据,但相关数值不是预测所有模型能力的通用刻度。不同企业的训练数据和评测集存在差异,数值难以直接比较;困惑度也不能完整反映思维链推理等预训练之外的进步。
共同限制如何落地?关键在评测与监控
按照提议,各家企业应共同制定模型评测、透明度和安全红队测试标准,并在模型首次投入使用前完成评估。首个开发门槛可以参考困惑度等可跨企业追踪的指标,企业承诺在达到明确的安全监控里程碑之前不突破限制,例如先开发出比现有思维链监控工具更先进的监测机制。
这意味着,他主张的并非单纯按时间暂停研发,而是把能力扩展与安全监控进展绑定。不过,如何统一评测口径、如何验证监控机制足够可靠,仍是方案必须解决的技术问题。奥尔特曼表示,希望行业能够就共同限制达成一致,以提高技术发展的安全性和可控性。
产业解读:竞争焦点不再只有模型能力
对模型企业和工具开发者而言,这一提议释放的信号是:先进模型的竞争,可能需要同时回答“能力有多强”和“行为能否被可靠监控”。如果 AI 能进一步推动预训练研究,研发节奏可能加快,而解释模型行为、识别风险的工作会面临更大压力。但2027 年加速目前仍是风险预判,而非确定时间表。
监管讨论也在升温。据美联社报道,美国民主党议员正讨论下一届国会的 AI 监管方案,涉及专门委员会、安全标准和第三方评估等议题。相关政治计划并不代表已经形成法律。对产业而言,后续更值得关注的是:企业能否形成可比较的评测标准,以及共同开发门槛能否从倡议变成可验证、可执行的承诺。