企业接入 AI,安全合规先查什么?从数据输入到自动执行的排查清单
企业把 AI 用进客服、知识库、代码开发和流程自动化后,安全问题往往不只出在模型回答是否准确。一次文档上传、一段插件调用,甚至一份自动生成的客户邮件,都可能触及数据权限、信息泄露与责任边界。对刚开始部署 AI 的团队来说,安全与合规应先落实到具体业务流程,而不是只检查模型有没有安全声明。
先画清数据流,再讨论模型选型
排查的第一步,是弄清楚哪些信息进入系统、经过哪些服务、最终保存在哪里。员工在聊天窗口输入内容只是一个入口,知识库同步、应用日志、检索结果和第三方工具返回值,也可能携带个人信息或商业秘密。
可以选取一个真实任务,例如“根据客户工单生成回复”,逐段检查数据来源、传输对象、访问权限和保存期限。尤其要区分内部部署、云端接口和面向个人用户的聊天产品:不同产品的合同、数据处理方式与管理能力不能混为一谈,也不能仅凭品牌判断是否适合企业使用。
- 输入端:是否包含客户身份信息、合同内容、源代码或访问凭证,能否先脱敏。
- 处理端:是否经过外部服务,服务商是否明确说明数据用途与留存规则。
- 输出端:回答是否暴露无权查看的资料,是否需要标注来源或经过人工复核。
- 管理端:能否撤销权限、删除数据、查询操作记录,并找到对应责任人。
接入知识库,不等于自动继承权限
企业知识库常被视为降低幻觉的办法,但检索增强生成并不会天然解决访问控制。如果员工只能在原系统查看部分文件,AI 检索层却能搜索全部内容,就可能通过摘要、引用或多轮追问泄露受限信息。权限校验应发生在检索和返回结果的环节,不能只靠提示词要求模型“不要透露机密”。
另一个容易遗漏的问题是提示注入。外部网页、邮件或文档可能夹带诱导指令,要求助手忽略规则、读取额外资料或调用工具。这些内容应被当作待处理的数据,而不是新的授权。测试时,除了检查正常问答,还应验证越权提问、恶意文档和错误引用是否会突破边界。
从生成答案到执行动作,风险会变大
当 AI 可以发邮件、改数据库、创建订单或执行代码时,风险不再只是“说错话”。新手团队宜先采用只读权限,再逐步开放操作能力;对付款、删除、对外发布等高影响动作,设置确认步骤、额度限制或回滚机制。模型提出操作建议,不应被等同于业务系统已经获得授权。
上线前还应准备一组可重复的测试案例,覆盖敏感信息泄露、越权访问、错误回答和工具误调用。记录模型版本、配置与测试结果,便于更新后复测。日志本身也可能包含敏感内容,因此需要控制可见范围与保存期限,而不是为了审计无限留存。
合规不是一张通用检查表
具体义务取决于业务所在地、行业、数据类型和产品面向的用户。个人信息处理、内容服务与行业监管要求,不能仅凭“使用了 AI”作统一判断;服务商提供的认证或合同条款,也不能替代企业对自身处理活动的评估。
对初次落地的团队,务实顺序是:先选低风险场景,明确禁用数据,收紧工具权限,建立人工复核与事件响应流程,再扩大使用范围。能解释数据如何流动、谁能访问、出错如何停止,比笼统宣称“AI 已合规”更有实际价值。