人工智能技术在众多领域如人脸支付、人脸安防、语音识别和机器翻译等得到了广泛应用，因此AI系统的安全性问题也日益受到重视。
AI模型面临的恶意攻击可能对用户造成重大安全隐患。
例如，攻击者可以利用精心设计的攻击贴纸来欺骗面部识别系统，从而导致严重的财产和人身损失。
为了解决AI模型在各个阶段可能遭遇的安全风险，并提供相应的防御策略，腾讯今天发布了业内首个AI安全攻击矩阵。
这一矩阵由腾讯AI Lab与朱雀实验室联合编撰，参考了网络攻防领域成熟的ATT&CK开源安全研究框架，全面分析了攻击者的战术、技术和流程。
腾讯的AI安全攻击矩阵从七个维度详细列出了21种AI安全攻击及其防御方法。
在AI模型开发前，可能遇到的攻击方式包括：
环境依赖：软件依赖攻击、Docker恶意访问、硬件后门攻击、供应链攻击。
数据收集与整理：数据投毒、数据后门攻击。
模型训练：梯度数据恢复、初始权重修改、代码攻击、训练后门攻击、非集中式场景。
模型部署：模型数据恢复、模型文件攻击。
模型使用：数字对抗攻击、物理对抗攻击、模型窃取、GPU/CPU溢出破坏。
模型架构：查询式架构窃取、侧信道架构窃取。
结果影响：模型误判、信息泄露。
这份AI安全攻防矩阵涵盖了从AI模型开发前环境搭建、模型训练与部署到后期使用维护的整个生命周期中的可能安全问题，并提供了相应的策略。
该矩阵使用方便，研究人员和开发人员可根据AI部署的基本情况，参考风险矩阵排查潜在的安全问题，并根据推荐的防御建议减少已知的安全风险。
研究人员将不同的攻击方式标记为成熟、研究中和潜在威胁，AI开发者可以直观了解不同攻击技术对AI模型的威胁程度。
据腾讯AI Lab介绍，编撰矩阵的核心挑战在于如何选择和梳理AI系统安全问题的分析视角。由于AI系统是一种与其他软硬件结合运作的应用程序，其安全分析的切入点与传统互联网产品有所不同。
经过充分调研，团队决定从AI研发和部署的生命周期出发，总结出AI系统在不同阶段面临的安全风险，从而从全局视角审视AI的安全性。
除了关注机器学习、计算机视觉、语音识别和自然语言处理等四大基础研究领域外，腾讯AI Lab还在持续进行AI领域的安全性研究，推动可信AI系统的设计与部署。
腾讯朱雀实验室则专注于实战攻击技术和AI安全技术的研究，通过攻防互动来保护腾讯的业务及用户安全。
之前，朱雀实验室模拟了真实环境中的黑客攻击路径，成功控制AI模型的神经元，为模型“植入后门”，在几乎无感的情况下完成了攻击验证，这也是业内首次利用AI模型文件直接实现后门效果的研究。
目前，风险矩阵的完整版本可在腾讯AI Lab官网免费下载。
附AI安全攻击矩阵下载地址：
https://shaRe.weiyun.coM/8InYhaYZ
[[[IMG_1]]]
[[[IMG_2]]]
[[[IMG_3]]]
[[[IMG_4]]]
[[[IMG_5]]]
