纳德拉谈 AI 安全：开发者应默认模型可能失控，并为智能体设计“紧急刹车”

据 IT之家 10 月 11 日消息，微软 CEO 萨蒂亚·纳德拉在北京时间 10 月 10 日晚发布长文，围绕 AI 模型与智能体系统的信任架构提出警示。他认为，随着 AI 被接入敏感数据、关键流程和自动化任务，开发者不能再沿用传统软件时代的安全假设，也不能简单依赖“更强的 AI 自我监督”。在他看来，面向前沿模型和智能体应用，行业需要默认模型可能出错、被攻破或行为不可控，并提前设计可观察、可验证、可中断的控制体系。

纳德拉的核心判断是，传统软件虽然复杂，但其运行逻辑通常可以沿代码路径追踪；而当前 AI 模型更像黑盒，能力更强，却更难解释其每一步决策来源。尤其当模型被赋予代表人类执行任务的权限时，风险不再只是回答错误，而可能延伸到数据访问、系统操作、业务决策乃至安全事件。因此，模型提供商与部署方不能把责任外包给模型本身，也不能把超级智能视作一组只需接受或拒绝输出的嵌套黑箱。

从“信任模型”转向“约束模型”

纳德拉提出，应重新评估 AI 时代的信任架构：系统需要在封闭边界内观察模型行为，持续测试其极限，并确保模型行为始终可以被容纳和控制。他提到，将前沿封闭权重模型和开放权重模型都视为“内部风险”，是构建这类体系的一种方式。这并不是说 AI 模型天然恶意，而是任何足够强大、又能接触重要系统的行为主体，都可能犯错或遭到攻破。

这一观点对企业 AI 落地具有现实意义。过去不少组织更关注模型效果、成本和接入速度，但在智能体开始调用工具、读取数据库、操作业务系统之后，安全边界会变得更加复杂。AI 不再只是一个生成内容的工具，而可能成为流程中的行动者。这意味着权限、审计、回滚、暂停和责任划分，都需要成为产品架构的一部分。

开发者应遵循的关键原则

来源显示，纳德拉特别强调开发者应围绕可观测性来设计 AI 系统，并提出多项原则。这些原则可被理解为面向智能体时代的工程安全清单：

• 模型多样性：重要结果不应只依赖单一模型，也不应让同一个模型负责验证自己的工作。
• 观察一切：模型每一个有意义的动作都应留下防篡改、可被人类理解的证据；无法观察的行为，就不应被完全信任。
• 可验证性：系统测试不能只覆盖成功任务，还应持续测试故障、攻击、边缘情况和系统变更。
• 独立控制：组织需要独立决定模型能访问什么、能采取哪些行动，而不是完全交给模型判断。
• 独立审计性：验证机制应独立于被验证的智能，避免模型既控制行为，又控制判断其行为是否合规的证据。
• 遏制能力：应默认模型已经被破坏，并从一开始就进行约束；授权人员必须能在任务过程中暂停或关闭模型。
• 事件披露：当系统故障或被攻破时，应及时向受影响者披露，并分享控制失效原因和防范经验。

影响解读：智能体应用进入“安全工程化”阶段

纳德拉的表态反映出大型科技公司对 AI 安全治理的关注正在从原则讨论走向工程实现。尤其是“紧急刹车”这一比喻，直接指向智能体系统的运行时控制：当模型执行长期任务、跨工具调用或访问高价值数据时，人类必须保留随时暂停、关闭或限制其行为的能力。

对开发者和企业用户而言，这意味着未来评估 AI 工具时，不能只看模型能力排行榜或生成质量，还要关注日志、权限隔离、审计链路、异常检测和事故响应等基础能力。可观测、可测试、可中断，将成为企业级 AI 系统的重要门槛。

从产业趋势看，随着开放权重模型、闭源前沿模型和各类智能体框架同时进入生产环境，AI 安全不再只是模型厂商的责任，也会成为云平台、应用开发商、企业 IT 和监管机构共同面对的问题。纳德拉此次强调“不能让模型自证安全”，实际上是在提醒行业：越是强大的 AI，越需要外部约束、独立审计和标准化遏制机制。