人工智能

上海网信办指导 17 家平台加强未成年人保护:AI 换脸、虚拟人设情感操控被纳入重点风险

2026年10月3日 · admin
OpenMagic API

据 IT之家消息,上海市委网信办于 9 月 30 日组织召开未成年人网络保护专题指导会,围绕压实网站平台主体责任、推进未成年人网络保护专项行动进行部署,并将未成年人心理健康保护作为重点方向。来源显示,属地 17 家重点平台参会,包括哔哩哔哩、小红书、拼多多、喜马拉雅、SOUL、阅文集团、米哈游等。会议通报了专项行动期间涉未成年人违法违规和不良信息典型案例,并要求平台重点防范化解七类涉未成年人心理健康风险。

七类风险被点名:从沉迷、网暴到 AI 衍生侵害

此次会议的重点并不只是传统意义上的内容清理,而是将平台推荐机制、社交互动、AI 功能和营销行为等纳入未成年人心理健康治理框架。会议明确提到,平台需要关注网络沉迷成瘾风险,避免未成年人出现作息失调、注意力下降、厌学逃避等问题;同时也要防范网络欺凌对未成年人造成长期心理创伤。

值得注意的是,容貌身材焦虑扩散、自残自杀类消极有害信息传播、线上社交过度挤占现实交往等风险也被列为重点。对于内容社区、社交平台、阅读平台和游戏相关企业而言,这意味着未成年人保护已经从“是否有害内容”进一步延伸到“内容和互动机制是否持续放大心理压力”。

会议还特别提到 AI 技术衍生的新型侵害风险,要求警惕 AI 换脸、虚拟人设带来的情感操控问题。这一表述反映出监管关注点正在跟随产品形态变化而前移:生成式 AI、虚拟陪伴、数字人互动等功能在提升体验的同时,也可能对心智尚未成熟的用户产生更复杂的心理影响。

  • 网络沉迷成瘾:可能影响作息、注意力与学习状态;
  • 网络欺凌:可能造成长期心理创伤;
  • 容貌身材焦虑:可能加剧自卑与比较心理;
  • 自残自杀类信息:需严防传播与模仿;
  • 线上社交过度:可能挤占现实交往并削弱社交能力;
  • AI 衍生侵害:包括 AI 换脸、虚拟人设情感操控等;
  • 不良价值观传播:可能影响未成年人价值判断与行为选择。

平台治理重点:从事后删帖转向源头预防

来源显示,会议要求各平台在持续清理危害未成年人身心健康有害信息的基础上,进一步深挖风险产生的内在成因,并从多个关键环节提升治理能力。这包括算法调控、迭代升级未成年人模式、优化防护举报渠道、提升高危内容识别处置能力、规范 AI 功能应用管理、从严管控不良营销行为,以及扩大优质正向内容供给。

这意味着,未来平台不能仅依赖用户举报和人工审核来处理问题内容。对于短视频、社区、阅读、游戏和社交产品来说,推荐算法是否会持续推送焦虑、对立、极端或消极内容,未成年人模式是否足够有效,AI 互动功能是否设置边界,都将成为监管和平台自查的重要维度。

从科技行业角度看,未成年人保护正在成为平台产品设计的一部分,而不仅是合规部门的后置工作。例如,内容识别模型需要更好识别自残暗示、网暴语境和外貌焦虑内容;推荐系统需要降低对高刺激、高争议内容的放大;AI 虚拟角色和陪伴类功能也需要在情感依赖、身份伪装、诱导消费等方面建立明确限制。

影响解读:AI 产品和内容平台的合规边界将更清晰

此次上海市委网信办点名 AI 换脸、虚拟人设等风险,对中文互联网平台具有较强信号意义。随着 AIGC 工具进入社区、直播、社交、游戏和电商等场景,未成年人可能接触到更逼真的合成内容和更强互动性的虚拟对象。监管要求平台规范 AI 功能应用管理,说明AI 安全与未成年人保护正在形成交叉治理议题。

对于参会平台所属的内容社区、兴趣社区、电商、音频、社交、网文和游戏等领域而言,后续可能需要在未成年人识别、内容分级、推荐干预、风险提示、家长控制、举报反馈和 AI 功能限制等方面继续补齐能力。特别是面向青少年用户活跃的平台,既要控制不良信息,也要避免算法在无形中制造攀比、沉迷和情绪极化。

来源显示,下一步上海市委网信办将加大对网站平台的常态化巡查、抽检和执法力度,并会同有关部门对问题突出的平台依法从严处置。同时,相关部门也将统筹多方资源,提高未成年人网络素养,培育文明上网行为习惯,推动未成年人健康安全使用网络。整体来看,未成年人网络保护正在从内容治理扩展为覆盖算法、AI、产品机制和平台生态的综合治理。