9月16日消息，首届人工智能安全大赛以“共筑AI安全 安享智能未来”为主题圆满落幕。
大赛工作人员现场展示了对抗样本对人脸识别门禁系统的攻击。
想象一下，若有人在面部贴上一张“神奇的贴纸”，便能让人脸识别门禁系统误认为是你，从而轻松打开大门；同样，这张“贴纸”若贴在眼镜上，手机人脸识别也能在一秒内解锁，隐私毫无防备。这并不是科幻电影中的情节，而是在首届人工智能安全大赛颁奖典礼上展示的真实攻防场景。
瑞莱智慧的首席执行官田天表示，评估人工智能安全问题时，首先要关注其技术的双重性质，尤其是可能的滥用或“武器化”现象。在人工智能的应用中，深度伪造技术就是一个典型的例子，其负面影响逐渐显现，造成实际危害。
现场的人脸识别破解演示揭示了系统的风险，这源于深度学习算法本身的脆弱性。作为第二代人工智能的核心，深度学习算法就像一个“黑盒子”，其不可解释性意味着系统存在结构性漏洞，容易受到不可预知的风险影响。演示中的“神奇贴纸”实际上是通过“对抗样本攻击”来实现的，通过在输入数据中添加扰动，导致系统出现错误判断。
这种漏洞在自动驾驶感知系统中同样存在。瑞莱智慧演示了如何利用对抗样本攻击自动驾驶汽车。正常情况下，自动驾驶车辆能够识别路障、指示牌和行人等目标并及时停车，但当目标物体上添加干扰图案后，车辆的感知系统就会出错，可能导致碰撞。
安全的本质在于对抗的升级，构建安全需要一个持续的攻防演进过程。田天指出，大赛聚焦于人工智能实际应用场景中的典型漏洞及风险，通过比赛促进建设和研究，考核参赛队伍在漏洞发现和挖掘方面的能力，探索新型安全需求场景，推动AI攻防技术的创新，为强化人工智能治理体系与安全评估能力建设提供支持。
深度伪造安全竞赛前三名
自动驾驶安全竞赛前三名
人脸识别安全竞赛前三名
此外，活动现场还发布了由国家工业信息安全发展研究中心牵头，与华为技术有限公司和北京瑞莱智慧科技有限公司共同编写的《人工智能算力基础设施安全发展白皮书》。
该白皮书围绕人工智能算力基础设施安全发展的意义、内涵与体系架构、安全管理现状及发展建议等方面进行了深入研究。白皮书指出，人工智能算力基础设施不同于传统的算力基础设施，它既是“基础设施”，又是“人工智能算力”，同时具有公共设施的属性，具备基建、技术和公共三重属性。因此，推动人工智能算力基础设施的安全发展应从强化自身安全、保障运行安全、助力安全合规三个方面着手，通过提升自身的可靠性、可用性与稳定性，确保算法运行的机密性与完整性，加强用户的安全管控能力、认可度与合规性等多个领域，构建起坚固的人工智能安全防线，打造可信、可用且易于使用的人工智能算力基础设施，营造健康、合规的人工智能产业生态。
