Anthropic CEO提议“银行式”AI监管:第三方评估员嵌入实验室,但无权叫停模型发布
据 CNBC 报道,Anthropic CEO Dario Amodei 近日提出一项面向前沿 AI 公司的安全监管方案:让独立第三方评估员长期嵌入 AI 实验室,获得接近公司内部风险团队的系统访问权限,并在有限删减前提下自主发布调查结果。Amodei 明确将这一思路类比为银行业的嵌入式监管。不过,银行监管专家和 AI 评估从业者指出,这类评估员并不具备银行监管者的行政强制权,无法阻止模型训练或发布,因而与真正意义上的监管仍有明显差距。
这一讨论发生在前沿模型安全争议升温之际。此前,Anthropic 前研究员 Jacob Coxon 离职并警告,前沿实验室正竞相追逐可能失控的系统。Amodei 随后在长文中提出上述计划,并承诺 Anthropic 将向第三方评估员提供与内部风险团队相当的系统访问权。他还警告称,未来 6 到 12 个月内,一个错位的智能体群可能抢占互联网的大部分,并造成数千亿美元损失。
“银行式监管”到底意味着什么
Amodei 援引的银行业监管先例,是指监管人员常驻大型金融机构内部,持续查看系统、文件和业务流程,并与员工接触。其核心并不只是“看见”,而是监管者背后拥有法律授权与行政强制工具。
怀俄明大学法学院院长、银行业监管专家 Julie Andersen Hill 表示,在大型银行中,政府检查员不仅能进入机构内部,还可以要求银行停止某项业务、限制增长、强制管理层变动,极端情况下甚至可以关闭银行。换句话说,银行监管的关键是访问权与执行权同时存在。
而在 Amodei 的提议中,嵌入式 AI 评估员主要承担调查、测试和发布报告的功能。专家认为,如果评估者没有法律层面的否决权或强制权,他们并不能直接阻止一个模型继续训练、上线或扩大部署。这使得该方案更接近强化版安全审计,而不是完整意义上的监管制度。
- 评估员可获得更深层的模型与系统访问权限;
- 评估结果有望在一定限制下独立发布;
- 评估员无法直接叫停训练、发布或产品部署;
- 最终风险处置权仍主要掌握在 AI 公司手中。
AI评估的现实:能发现问题,但很难覆盖全部风险
网络安全公司 XBOW 的 AI 负责人 Albert Ziegler 表示,其团队已提前接触 Anthropic、OpenAI 等主要开发商的未发布模型,并开展能力评估。但他也指出,日常评估并不总是外界想象中的“末日风险排查”。评估者可能发现模型在异常格式请求下输出无意义内容,或建议外部安全检查更频繁介入,但他们并未见过公众最担忧的那种“隐蔽行径叠加前所未有能力”所造成的灾难性后果。
Ziegler 认为,黑盒测试可以揭示模型是否具备执行危险任务的能力,但要判断整个系统是否真正危险,还需要了解模型周边的指令、工具权限、安全控制以及动作日志。对于越来越多与浏览器、代码环境、企业系统连接的智能体来说,风险往往不只来自模型本身,而来自模型、工具、权限和部署场景的组合。
即便如此,重大风险也可能只在评估者没有触发的条件组合下出现。Ziegler 坦言,评估者没有否决权。他们能做的是发现并记录开发者遗漏的风险,在发布前推动公司做出更充分的知情决策,但最终决定权仍属于公司。
影响与解读:AI安全审计需要独立性,也需要制度边界
从产业角度看,Amodei 的方案反映了前沿 AI 公司正在寻找一种“介于自律与政府监管之间”的机制。对于模型能力快速提升、智能体应用扩张的行业来说,外部评估确实有价值:它可以让测试者从公司外部视角审视模型安全,避免内部团队因商业目标、发布节奏或组织惯性低估风险。
但争议也集中在两个问题上。第一,谁来选择评估员?如果由 AI 公司挑选、授权并限定可见范围,外界会质疑其独立性。第二,评估结果如何产生约束力?如果企业可以自由忽略结论,那么所谓嵌入式评估更像内部合规部门的外部化表达,而不是公共监管。
来源显示,Amodei 点名非营利机构 Model Evaluation and Threat Research(METR)作为潜在嵌入评估方。Anthropic 此前曾与 METR 合作,近期也要求其审查涉及 Claude 的网络安全评估事件。另一名前 Anthropic 研究员 Joe Benton 最近离职加入 METR,从事 AI 风险嵌入评估工作。这些关联让“独立”一词面临更多审视:评估机构既需要足够懂技术、能深入系统,又要避免与被评估企业形成过近关系。
加州大学伯克利分校算法审计与 AI 问责研究员 Deborah Raji 也对相关安排提出质疑,认为很难忽视与特定评估机构关系所带来的包袱。对于中文科技读者而言,这场争论的关键不在于某一家 AI 公司是否更重视安全,而在于前沿模型治理如何从企业承诺走向可验证机制。
如果未来 AI 智能体开始承担更多自动化任务,包括代码执行、网络操作、企业流程处理和多系统联动,仅靠发布前红队测试可能不足以覆盖全部风险。更可行的方向,或许是将第三方评估、持续监测、事故披露、权限分级和政府监管工具结合起来。Amodei 的提议提供了一个讨论起点,但专家提醒也很明确:“有人看着”并不等于“有人能管”。