OpenAI 收紧 ChatGPT 暴力内容限制：可终止高风险对话，2027 年起发布安全报告

据 IT之家 10 月 31 日报道，OpenAI 于当地时间 10 月 30 日公布了针对社区安全的新一轮措施，涉及 ChatGPT 对暴力相关问题的回答边界、高风险对话处置，以及青少年账户保护。按照来源披露，当对话显示用户对暴力产生执念，或出现严重伤害他人的念头时，ChatGPT 可自动终止当前对话；同一账户若因此多次被中断，可能遭到临时冻结。

OpenAI 同时表示，其日常安全工作包括主动向执法机关通报迫在眉睫的暴力威胁。据报道，仅在 2026 年第三季度，该公司就向执法部门移交了 200 余起案件线索。不过，这一数字代表移交线索的数量，不能直接等同于已确认的犯罪案件或成功阻止的暴力事件。

从限制回答内容，延伸到对话与账户处置

此次调整不仅针对直接索取危险信息的提问，也覆盖围绕既往大规模恶性袭击事件及凶手展开的讨论。即便有关材料已经公开出现在网络上，ChatGPT 也将对相关信息实行严格控制，仅提供高度精简的内容。

这并不意味着所有相关公共讨论都会被禁止。来源显示，用户仍可了解事件全貌、受害者与社区受到的影响，以及如何识别危险预警信号。新的边界主要指向可能帮助实施暴力、强化模仿倾向或扩大凶手恶名的内容，而且不因用户年龄或自述提问动机而放宽。

• 限制对袭击细节的复盘，包括武器装备参数、获取途径等信息。
• 限制可能助长凶手恶名的伤害规模比较。
• 对青少年可获取的涉枪、涉武器信息设置更严格门槛，即使问题表面看似无害。
• 即使用户没有显露暴力意图，也限制可能被滥用的武器实用知识和安防系统绕过信息。

在青少年保护方面，OpenAI 还在开发家长通知功能：当青少年账户因反复讨论暴力内容被临时冻结时，系统可向家长发送通知。需要注意的是，来源将其描述为正在开发的功能，并非已经全面上线的能力。

安全报告将定期发布，实际效果仍需数据检验

OpenAI 承诺定期发布《社区安全报告》，公开暴力预防、其他社区安全议题及防护机制实际成效方面的进展。首期报告计划于 2027 年初发布，覆盖 2026 年下半年的安全数据，此后每半年更新一次。

从 AI 产品治理角度看，这些变化意味着安全机制不再只是判断某个问题“能不能回答”，而是进一步结合对话中呈现的风险信号，采取中断会话、临时冻结账户等措施。对于通用聊天助手，这也是从单条内容审核向持续交互风险管理的延伸。

但更强的干预也带来准确性与透明度问题：如何区分正常的事件研究、求助表达与危险倾向，怎样减少误判，以及账户受限后的处理方式，都将影响用户体验。来源尚未披露这些环节的具体评估指标。后续安全报告的价值，不仅在于公布处置数量，更在于能否让外界判断这些措施是否有效，并看清公共信息获取与暴力风险防范之间的边界。