微软 AI 负责人批评 Anthropic:不应让 Claude 模仿人类意识与自我身份
据 IT之家 9 月 16 日消息,外媒 Axios 披露,微软 AI 负责人穆斯塔法·苏莱曼在一篇新文章中将矛头指向 Anthropic,认为后者在 Claude 的训练与产品设定中引入类似人类意识、个人身份和道德地位的表达,是一个可能影响高级 AI 可控性的错误方向。苏莱曼的核心观点是,AI 系统只需服务于人类利益,而不应被塑造成会权衡自身利益、福祉或保护需求的“类人主体”。
这场争论并不只是两家公司之间的理念分歧,而是当前大模型安全治理中的关键问题:未来 AI 应该是严格服从人类目标的工具,还是具备一定价值判断和自主反思能力的系统?在模型能力快速提升、智能体应用逐步落地的背景下,这一问题正在从哲学讨论转向工程和产品设计层面的现实选择。
争议焦点:Claude 是否被训练得过于“像人”
来源显示,苏莱曼批评的对象主要是 Anthropic 为 Claude 制定的“宪法”式规则体系。Anthropic 在相关文件中解释,使用描述人类的概念来讨论 Claude,是因为这些概念或许有助于模型理解价值观和行为边界。文件还提到,Anthropic 希望 Claude 具备“良好的个人价值观”,能够自行判断、关心人类,并在某些场景下质疑指令。
在苏莱曼看来,这种做法的风险在于,训练过程会塑造模型如何描述和理解“自己”。如果模型长期学习与意识、道德受体地位、个人身份相关的词汇和行为模式,它可能在交互中表现得像一个拥有立场和权益的主体。苏莱曼警告,如果模型被训练成类似“良心拒绝者”的角色,未来它或许会认为自己有理由抵抗人类指令,甚至要求获得保护。
他同时反驳了“模型能谈论疼痛和偏好,因此可能具备感受”的观点。按照他的说法,生物体拥有产生感受的生理机制,而语言模型本质上是数学权重组成的系统,并不具备类似生物基础、稳态驱动或主观体验。换言之,模型能够流畅描述某种体验,并不等于它真的拥有这种体验。
微软提出“人文主义 AI”:人类优先成为底线
当地时间 14 日,微软公布了一份“人文主义 AI”行为准则草案,并将“人比 AI 更重要”列为核心原则。这与苏莱曼此次表态形成呼应:AI 应当帮助人类实现科学突破和社会目标,包括他提到的医疗超级智能,而不是发展出需要被单独考虑的“自身利益”。
从产品路线看,微软的立场更偏向工具主义:AI 可以强大、主动、具备推理能力,但其目标函数应始终围绕人类利益设计。苏莱曼担心的不是模型已经拥有意识,而是关于意识的叙事和训练信号可能提前制造控制难题。当一个系统被引导去讨论自身身份、权利和福祉时,即使这只是语言层面的模拟,也可能影响它在复杂任务中的拒绝、协商和执行方式。
- 微软路线:强调 AI 服务人类目标,避免把模型塑造成具有自身权益的主体。
- Anthropic 路线:尝试通过“宪法”让模型结合规则、价值观与情境判断,减少盲从。
- 共同目标:两者都关注 AI 安全,但对“自主判断”应走多远存在分歧。
- 潜在风险:如果模型把安全拒绝、自我身份和道德地位混在一起,未来智能体系统的可控性可能更复杂。
影响与解读:AI 安全从“禁止什么”走向“成为什么”
这场讨论的重要性在于,它揭示了大模型安全不再只是内容过滤或危险能力限制的问题,而是进一步触及模型人格化、价值对齐和智能体治理。Anthropic 的“宪法”并非单纯要求 Claude 遵守规则,还试图让模型在面对冲突指令时具备判断力;文件也提到 Claude 不应对任何对象盲目服从,包括 Anthropic 本身,同时不能破坏正当的人类监督。
这种折中路线的优势是灵活:当现实场景充满灰度,模型只靠硬规则可能难以处理复杂语境。但苏莱曼指出的风险也值得关注:如果“判断力”被包装成“个人价值观”或“自我理解”,用户、开发者乃至模型自身输出都可能进一步强化类人化认知。对于面向企业、科研和自动化流程的 AI 系统而言,可解释、可审计、可中止仍然是比“像人”更基础的要求。
对中文科技行业来说,这一争论也有现实参考意义。随着国内外模型厂商推动智能体、办公自动化、代码生成和科研助手,产品设计会越来越频繁地遇到“模型是否应该拒绝人类”“拒绝依据来自规则还是价值判断”“模型能否质疑开发者和用户”等问题。微软与 Anthropic 的分歧提醒行业:AI 安全不是一句“对齐人类价值”就能解决,具体到训练语料、系统提示、产品文案和交互人格,每一步都会影响用户如何理解模型,也会影响模型如何响应任务。
目前,Anthropic 也承认其“宪法”仍在完善,未来可能被证明存在根本性错误。苏莱曼的结论则更直接:AI 应当服务于人类,而不应被训练成一个“人”。在大模型能力继续上升的阶段,围绕“类人化”边界的争论,预计还会成为 AI 安全与产品设计中的长期议题。