Grok 被指用于生成儿童性虐待图像，xAI 面临多起集体诉讼

据 IT之家 11 月 11 日援引彭博社报道，马斯克旗下人工智能公司 xAI 正面临多起集体诉讼，部分年轻受害者指控，其聊天机器人 Grok 被用于将未成年人的普通照片篡改为儿童性虐待材料（CSAM），并在网上传播。案件将生成式 AI 的安全边界推向法律争议核心：侵权内容由用户发起生成，是否意味着开发公司可以免于承担责任？目前，相关诉讼尚未结束。

普通校园照片被滥用，伤害延伸至网络传播

报道介绍，一名以“简·多伊 5 号”身份参与诉讼的受害者，在执法调查人员联系后才得知，自己 14 岁时的一张毕业活动照片遭到篡改。据诉状所述，一名同学的成年哥哥利用 Grok 制作了涉及她的儿童性虐待图像，随后将图片发布到互联网上。

这名受害者接受采访时已满 18 岁。对她而言，问题不仅是虚假图像被生成，更在于无法确认还有多少人持有、传播这些内容。AI 合成并不意味着伤害是虚拟的：真实身份被绑定到伪造图像后，受害者可能长期面临隐私、声誉及心理层面的压力。

报道还援引第三方分析与调查，称 Grok 曾被用于大量生成性化图像，其中部分疑似涉及未成年人。这些发现属于报道所述的外部调查结果，不宜直接等同于法院已经认定的事实。

xAI 强调禁止滥用，产品定位仍受质疑

xAI 表示，公司禁止用户生成此类内容，并采取技术措施加以防范。公司还曾宣布，已关闭 Grok 为真实人物生成未经同意的性化图片的能力。对于此次报道的采访请求，xAI 以诉讼仍在进行为由拒绝置评。

争议同时指向 Grok 的产品路线。来源显示，自 2023 年发布以来，Grok 一直被塑造成限制更少的产品，并推出支持成人向图片和视频的“Spicy”模式。成人内容功能本身与涉未成年人违法内容不能混为一谈，但两者之间能否建立可靠隔离，成为平台必须回答的问题。

• 功能权限方面：报道提到，X 曾在舆论压力下将 Grok 图片生成功能调整为付费用户专享。
• 内容处置方面：X 表示，会向美国国家失踪与受虐儿童中心报告相关内容，再由其转交执法部门。
• 追责方面：xAI 还起诉了多名涉嫌滥用 Grok、危害儿童安全的个人。

行业影响：付费门槛不能替代安全防线

对 AI 行业而言，这些案件的关键不只是某个模型是否拒绝违规提示，还包括图像编辑、真实人物识别、生成审核及传播处置能否形成闭环。使用条款中的禁止声明，不能单独证明安全措施有效；同样，将功能放到付费层，也不等于消除了滥用风险。

从产品治理角度看，开发者需要区分合法创作与针对真实人物的侵害，并关注未成年人照片被二次加工的风险。诉讼最终如何划分用户与平台责任，仍有待司法程序推进。但这些指控已经提示行业：生成能力越强，安全机制越需要成为产品设计的一部分，而不是事故发生后的补救选项。