Anthropic建议加州允许法院叫停高风险AI，反对依赖“一键关闭”

据IT之家10月29日援引路透社报道，Anthropic在本月15日致美国加州州长加文·纽森的信中建议，政府应有权向法院申请禁令，阻止对公众构成“严重风险”的AI模型发布。与此同时，该公司对要求开发者设置整个模型的“紧急关闭开关”提出质疑，更支持针对问题智能体或特定客户采取限制措施。这份意见体现了AI安全监管中的一个关键分歧：风险出现时，应该叫停整个模型，还是精准切断危险用途？

支持法院介入，但不认同万能关闭开关

来源显示，纽森在9月召集AI专家小组，研究制定AI安全要求的建议，Anthropic随后提交上述意见，其主张与此前提出的监管建议一致。OpenAI也于10月20日向纽森提交了一系列建议，表明主要模型开发商正参与加州AI安全规则的讨论。

Anthropic提出的核心机制是由政府向法院申请禁令，阻止存在严重公共风险的模型发布。这属于监管建议，不能据此认定加州已经建立相应制度；来源也未给出“严重风险”的具体认定门槛。

对于模型行为失控的情形，Anthropic认为，要求开发者配备能够关闭整个模型的开关，可能让政府官员产生“虚假的安全感”。它更倾向于采取范围较小、直接对应风险来源的措施：

• 关闭出现问题的AI智能体，限制具体任务或执行流程。
• 暂停特定客户的模型使用权限，切断相关使用路径。
• 对于构成严重公共风险的模型发布，通过法院禁令进行干预。

监管争论的焦点：干预应落在哪一层

从技术与产品角度看，模型、智能体和客户访问权限属于不同层级。关闭整个模型可能影响广泛应用，而针对智能体或账号的限制，目标则更集中。Anthropic的立场并非完全反对强制干预，而是强调将处置范围与实际风险对应。

不过，针对性措施能否奏效，仍取决于风险是否能够被识别、定位和隔离。如果问题来自模型本身，仅限制个别客户或智能体是否足够，仍是监管设计需要回答的问题。来源没有提供上述方案的实施细则，也没有说明法院将依据何种技术证据作出判断。

美国立法层面此前已有类似讨论。据报道，两党参议员9月曾讨论授权政府禁止发布部分存在安全隐患的模型，并允许企业向联邦法院提出异议，但提案在国会进入选举前休会后未继续推进。众议院议员7月提出的《AI紧急关闭法案》，则计划赋予政府官员下令关闭危及人类生命或经济的模型的权力。这些均不能等同于已经生效的规则。

对AI产业意味着什么

Anthropic自身也经历过政府限制。据来源报道，美国政府6月曾以国家安全为由，要求其立即限制外国用户访问具备网络安全能力的Mythos 5和Fable 5模型，随后商务部撤销了该命令。

对模型厂商和应用开发者而言，这轮争论提示：安全治理不仅是模型能力评测，也涉及部署后的权限与处置机制。未来规则如何区分模型级风险、智能体行为和客户滥用，将直接影响产品架构与运营安排。此次信件的意义，在于把讨论从“能否关停AI”推进到“谁来决定、关闭什么、通过何种程序”，但具体制度仍待后续政策进展明确。