奥尔特曼谈 AI 失控风险：自主系统接管与技术垄断是两条路径

据 IT之家 11 月 6 日报道，OpenAI 首席执行官萨姆·奥尔特曼近日参加 Raj Shamani 播客时，谈到了人工智能可能失去人类控制的两种路径：一是人类逐步向能力更强的自主式 AI 交出控制权，二是某个人、公司或国家因掌握 AI 而获得压倒性优势。他同时表示，自己仍看好 AI 的长期价值，尤其期待下一代模型推动基础科学研究。

失控未必突然发生，也可能来自持续授权

奥尔特曼提出的第一类风险，并不是某一次明确的系统故障，而是人类有意或无意地不断让渡控制权。当 AI 的能力远超人类，越来越多的任务与决策由系统自主完成，人类最终可能无法重新取得主导权。

这一判断值得关注的地方，在于它将讨论重点从模型是否会回答错误，推进到了人类能否持续掌握系统的决策边界。对于自主式 AI 而言，能力提升与授权扩大往往相伴而行；但系统能完成更多工作，并不自动意味着它适合获得更多权限。

从工具与产品角度看，这也提示开发者和使用者：评估 AI 不能只看任务完成效果，还需要考虑哪些操作应当保留人工确认、出现偏差后能否停止执行，以及人类是否仍有能力理解和接管流程。这些是基于上述风险作出的产品治理解读，并不代表奥尔特曼在节目中公布了具体技术方案。

技术过度集中，是另一种控制权风险

第二条路径指向权力分配。奥尔特曼认为，如果单一个人、企业或国家相对于其他参与者过于强大，同样会带来危险。相比所有人依赖一家企业，他更倾向于由多个采用不同路线的 AI 实验室相互竞争。

来源还将这种担忧与行业人士离开原有组织、创办竞争公司的现象联系起来，涉及马斯克及 OpenAI 前高管等人。不过，不能仅凭这段讨论，就将相关人士的离职或创业动机归结为单一因素。奥尔特曼提到的一种行业心态是：面对影响重大的技术，参与者可能认为只有自己值得被信任、能够承担开发责任。

• 自主系统风险：授权持续扩大后，人类可能失去有效接管能力。
• 技术集中风险：少数主体掌握过强能力，其他参与者缺少制衡空间。
• 多路线竞争：在奥尔特曼看来，比全行业依赖单一企业更安全。

产业解读：能力竞赛之外，还要观察可控性

这番表态把 AI 安全问题放在了两个层面：系统内部如何接受人类控制，以及产业外部如何避免权力过度集中。两者并不相同，单纯提高模型表现，不能直接解决授权边界和行业制衡问题。

对中文读者而言，观察 AI 产品与产业趋势时，除了关注模型能力，也可以留意权限设计、人工接管机制与技术生态的多样性。这些因素关系到 AI 从辅助工具走向自主执行系统后，人类还能保留多少实际选择。

奥尔特曼的态度并非全面悲观。他仍认为 AI 有望带来更好的未来，并特别看好下一代模型对基础科学进步的推动作用。风险警示与技术期待同时出现，也说明这场讨论的核心不是是否发展 AI，而是如何在能力持续增强时，保留有效的人类控制与产业制衡。