互联网资讯 / 人工智能 · 2023年11月14日 0

自动驾驶因AI漏洞发生事故并承担责任

专家们曾经担心的 AI 算法漏洞如今已被证实,意想不到的情况也在不断发生。

刚刚过去的 1024,极棒大赛上演了全新的人机攻防对抗。

在 GeekPwn 2020 国际安全极客大赛上,顶尖白帽黑客们展示了他们如何劫持无人机、干扰自动驾驶汽车的视觉系统、使用口罩刷他人脸部进行支付等技术,揭示了 AI 模型、物联网、5G 等领域的多项未知漏洞。

本次大赛吸引了超过 600 支来自不同科技公司和高校的极客队伍报名,最终近 50 支团队在 10 月 24 日争夺 500 万元奖金池。

在决赛之前,GeekPwn 大赛早在 3 月开放了各项比赛的报名,4 月公布了比赛规则,8 月底 CAAD 线上比赛顺利结束。到达现场的团队,各具绝技。

与往年不同,今年的比赛设置了全新的挑战。八大赛题包括「新基建」安全大赛、基于漏洞攻破挑战赛、非基于漏洞攻破挑战赛、云安全比赛、少年黑客马拉松大赛、虚假人脸 AI 识别大赛、AI 变脸口罩挑战赛以及窃密与反窃密挑战赛。每个赛题下又细分为多个单项比赛,关注不同方向。

自动驾驶因AI漏洞发生事故并承担责任

腾讯安全与 GeekPwn 联合举办的国内首个新基建安全大赛,涵盖了 5G、物联网和人工智能。参赛者针对车联网、无人机、安检设备、智能电表等目标的破解,让人们对这些产业的安全有了全新的认识。

在挑战中,选手们佩戴口罩刷他人脸部进行识别。人脸识别技术已经成为日常生活的一部分,但由于新冠疫情的影响,佩戴口罩为这一技术带来了新的挑战。虽然一些科技公司推出了即使戴上口罩也能识别的人脸技术,但口罩覆盖了人脸的大部分区域,留出了破解的可能性。

此次挑战模拟了人脸识别自动售货机和 ATM 取款场景,选手们需利用 AI 算法制作印有攻击样本的口罩,并在 150 秒内让机器识别成指定目标,如蒋昌建、克里斯·埃文斯和伊隆·马斯克等。

挑战中的目标还包括白盒算法(ARcFACE 算法)与黑盒算法,后者的破解难度更大,因为攻击者事先并不知晓算法的构成。

自动驾驶因AI漏洞发生事故并承担责任

GeekPwn 创始人王琦(大牛蛙)佩戴着伪装成蒋昌建的口罩,展示了 AI 对抗样本攻击的复杂性。比赛中,为每台机器设定了三个逐渐增加难度的关卡,每一关口罩的有效攻击区域逐渐缩小,难度也随之增加,前一关失败会导致失去后续挑战资格。

入围决赛的团队包括 AFMask、海棠初白、来自清华大学和北京大学的动动动动弦团队,以及清华大学计算机系与 RealAI 的 TSAIL 队。

尽管参赛团队频频遭遇挑战,但「金融级别安全」的支付技术并非易于破解。比赛的进程也印证了这一点。

首个出场的动动动动弦团队在第一轮接连失利;AFMask 团队在第一轮成功破解,但在第二轮遭遇挫折。TSAIL 和海棠初白团队也都在第一轮被淘汰。

刷脸支付难以破解,部分原因在于比赛的规则相对严格:每次尝试只有 45 秒时间,最终仅有一组队伍成功通过第一关。现实中,支付环境的要求显然更高,因此刷脸支付被「盗号」的风险仍然很低。

在自动驾驶领域,尽管距离大规模应用还有一段时间,但量产车上已经出现了多种辅助驾驶功能。许多人在购车时会特别关注 L2 级自动驾驶。在此次大赛中,针对自动驾驶的干扰挑战展示了该技术的一些潜在风险。

白帽黑客吴潍浠表示,他们通过干扰汽车自动驾驶系统中的毫米波雷达进行挑战,所用设备体积小且价格低廉。毫米波雷达被认为是各种传感器中最为稳定的方案。

辅助驾驶技术如特斯拉的 Autopilot 通过摄像头和雷达收集路面信息,然而不同车型选择的传感器各有差异。技术人员制作的攻击设备看似简单,却能够造成重大干扰。

自动驾驶因AI漏洞发生事故并承担责任

在没有干扰的情况下,汽车自动驾驶系统会在遇到纸箱堆成的「墙」前停下。然而,当干扰器放置于墙脚下,汽车在进入自动驾驶模式后,对「墙」产生了犹豫,最终加速撞上了障碍物。这一「事故」的发生揭示了在实际环境中的安全隐患。

自动驾驶因AI漏洞发生事故并承担责任

通常,带有自动驾驶功能的汽车只要有传感器发出危险信号,系统就会刹车,但此次实验中汽车仍然撞向障碍物。这次挑战的成功提醒我们,在自动驾驶汽车投入实用化之前,还有许多工作需要完成。

主办方 GeekPwn 表示,毫米波雷达攻击的测试结果已提交给特斯拉,黑客们也将协助车企持续改进自动驾驶安全。

在 10 月 24 日的比赛现场,还有许多成功的挑战项目。例如,来自 TQL(清华 – 奇安信联合研究中心)的安全研究人员成功利用未知漏洞,对正在作业的植保无人机发起攻击,获取最高使用权限,使其偏离航道。来自凤凰解码的白帽黑客也成功利用视频协议漏洞,对智能摄像头进行远程攻击。

那么,这些未知漏洞为何出现在 GeekPwn 上呢?

近年来,我们见证了人工智能技术的快速落地。在安全领域,各种新形势和挑战层出不穷。实际上,AI 安全涉及两个方面:一是用 AI 方法解决安全问题,二是保护 AI 技术的安全。

GeekPwn 的负责人杨泉提到,以前举办的「数据追踪挑战赛」,鼓励人们利用 AI 方法快速定位恶意网站和应用。在 AI 技术不断实践的过程中,其自身的安全问题同样需要引起重视。通过 CAAD(对抗样本攻防赛)比赛,GeekPwn 为 AI 可能存在的安全问题设置了赛题,推动了人工智能的健康发展。

自动驾驶因AI漏洞发生事故并承担责任

从攻击者的角度预演威胁、提前揭示风险,并警告被破解厂商,是提升数字安全防御体系的长久方式,也正是 GeekPwn 大赛的核心价值所在。今年的国际安全极客大赛已是第七届,在这些年的赛事中,我们见证了 AI 技术的广泛应用,以及「对抗样本攻击」等破解技术的兴起,极客们已披露了数百个高危漏洞。

今天,我们每个人都在使用各种电子设备,这意味着安全漏洞在生活中普遍存在。尽管我们享受新技术带来的便利,却往往忽视了潜在的风险。极棒通过挑战赛的方式展示这些未知漏洞,让人们对新技术有了更深刻的认识,同时也引起了对技术安全防范的重视。

除了发现漏洞,GeekPwn 还致力于培养新人。今年大赛还举办了首届「少年黑客马拉松大赛」,吸引了众多十到十六岁的年轻黑客参赛。尽管信息安全有时被认为门槛过高,但杨泉对此有不同看法。

「各个行业都有自己的入行门槛,我不认为行业不同,门槛就会有所不同。」