企业接入 AI 后如何排查安全与合规风险?从数据、权限到输出检查
企业把 AI 接入知识库、客服或业务系统后,安全问题往往不只来自模型本身。一份包含客户信息的附件、一个权限过大的工具接口,或一次未经核验的自动回复,都可能放大风险。对刚开始部署 AI 的团队来说,安全与合规的起点不是收集认证标识,而是弄清楚:数据去了哪里,模型能做什么,结果由谁负责。
本文提供一套面向企业应用的初步排查思路,不针对某起已发生的事件,也不替代具体地区、行业的法律意见。AI 安全关注系统是否可靠、可控,合规关注处理方式是否符合适用规则;两者有关联,但不能相互替代。
第一步:先画清数据流,再检查模型配置
以内部知识库问答为例,员工上传文档后,文件可能经过解析、切分、向量化、检索和模型生成多个环节。即使最终回答没有显示原文,解析缓存、向量数据库和运行日志也可能留有相关内容。只检查聊天窗口,容易遗漏真正的数据存储点。
新手可以先完成以下四项检查,再决定是否扩大试用范围:
- 列出输入内容:是否涉及个人信息、合同、源代码或商业秘密,能否先脱敏。
- 确认处理链路:哪些组件由企业管理,哪些交给外部服务,是否调用第三方接口。
- 核对留存规则:提示词、附件和日志保留多久,能否删除,备份如何处理。
- 验证访问权限:不同岗位能否检索到不属于自己的资料,离职账号是否同步失效。
尤其要注意,检索权限不能只靠提示词约束。“请勿透露其他部门资料”不是访问控制。权限校验应进入检索和工具调用环节,并使用不同角色的测试账号验证。
第二步:把模型回答与业务动作分开管理
让 AI 起草邮件,与让它自动发送邮件,风险并不相同。连接工单、数据库或采购系统后,模型输出可能变成实际操作。排查时应区分只读查询、内容生成和状态修改,避免用同一组宽泛权限覆盖所有任务。
涉及付款、删除、批量通知等操作时,可优先采用最小权限、参数校验和人工确认。测试也不能只问正常问题:应检查外部网页、文档或邮件中的恶意指令,是否会诱导系统忽略原有任务。提示注入不一定能靠一句系统提示解决,还需要工具隔离和执行端限制。
第三步:检查输出,也保留可追溯记录
AI 回答语气确定,不代表事实准确。客服承诺、合同解释和专业建议等场景,应明确哪些内容必须引用依据,哪些结果需要人工复核,哪些请求应拒绝或转交。合规审查不能只看输入,也要覆盖输出及其使用后果。
记录方面,应能还原调用时间、模型版本、检索来源、工具操作和审批结果,但不宜为了审计而无限保存敏感原文。日志同样需要权限、脱敏和留存期限。供应商声明可以作为评估材料,却不能证明企业自己的部署已经满足全部要求。
上线前,团队最好明确一名业务负责人、一名技术负责人,以及异常停用和反馈渠道。先在低风险、可撤回的场景试运行,再根据测试结果扩大自动化范围。判断 AI 是否适合进入生产环境,关键不只是回答是否流畅,而是出错时能否发现、限制影响并追溯原因。