人工智能行业正以惊人的速度发展，主要受大型科技公司、新兴创业公司和学术界的推动。然而，关于机器学习安全的规范和故障保护措施却远远滞后于技术的进步。
如果无法保护机器学习模型免受数据中毒等网络攻击，可能会造成严重损失。聊天机器人的安全漏洞甚至可能导致用户的私人数据被盗。接下来，我们将讨论机器学习网络安全的重要性，并介绍聊天机器人安全公司Scanta如何通过虚拟助手来保护聊天机器人。
机器学习安全性为何至关重要？
保护机器学习模型免受网络攻击的必要性可以类比于确保汽车通过安全检查。仅仅因为汽车可以行驶，并不意味着它在公共道路上是安全的。若无法保护机器学习模型，可能会导致数据泄露或更为严重的后果。
例如，McAfee公司的技术人员曾成功入侵特斯拉的一款自动驾驶汽车。特斯拉早期的路标检测系统模型存在漏洞，使其易受攻击。技术人员只需在汽车上贴上几英寸的黑色胶带，就能让系统错误地读取35英里的限速标志为85英里/小时。这使得车辆在超过35英里/小时时自动刹车。
在自动驾驶汽车中，安全漏洞可能导致致命事故。而对于聊天机器人和虚拟助手而言，缺乏机器学习安全性可能导致大量用户数据泄露、网络钓鱼攻击和高额的企业诉讼。这正是达美航空所经历的情形。
2019年，达美航空因2017年的乘客数据泄露事件起诉其聊天机器人开发人员。黑客获取了聊天机器人系统的访问权限，并修改了源代码，从而能够抓取用户输入的数据。这次事件给达美航空带来了巨大的经济损失，调查漏洞和保护受影响客户的费用高达数百万美元。
聊天机器人面临的机器学习安全漏洞
由于聊天机器人与用户之间的互动频繁且通常缺乏监督，它们特别容易受到机器学习攻击。Scanta公司阐述了聊天机器人常见的网络攻击。
Scanta公司的首席技术官Anil KaUSHik表示，他们观察到的最常见攻击之一是通过对抗性输入进行的数据中毒攻击。
什么是数据中毒？
数据中毒是黑客通过污染机器学习模型的训练数据来实施的一种攻击方式。他们通过注入对抗性输入来实现这一点，这些输入故意修改数据样本，以诱使系统产生错误的输出。
像客户服务聊天机器人这样的系统，因持续通过用户输入数据进行训练而特别容易受到此类攻击。大多数现代聊天机器人能够自主操作，并在没有人工干预的情况下回答客户询问。通常，在查询未升级为人工处理的情况下，聊天机器人与用户之间的对话不会被监控。这种缺乏监督使得聊天机器人成为黑客的主要目标。
为了帮助企业保护其聊天机器人和虚拟助手，Scanta公司不断改进其机器学习安全系统VA SHield。
Scanta公司由ChAItanya HiReMath于2016年创立，最初是一家专注于增强现实游戏和社交媒体应用程序的科技公司。其在增强现实(AR)领域的成功甚至曾在探索频道上获得关注。然而，Scanta最近转向为聊天机器人和虚拟助手提供机器学习安全服务。
Scanta如何保护聊天机器人和虚拟助手
Scanta公司的VA SHield是一个机器学习安全系统，能够在模型、数据集和对话级别保护聊天机器人。首席技术官Anil KaUSHik表示：“VA SHield利用机器学习来防御机器学习攻击。我们对每个用户进行行为分析，并标记任何异常行为。这种分析不仅针对最终用户，还包括聊天机器人。我们会分析所有输入、输出及其组合，以检测任何恶意活动。”
在对话层面，Scanta评估聊天机器人的输出，以阻止恶意攻击并捕获业务见解。他指出：“场景分析是一个简单的概念，聊天机器人的响应在场景中根据请求进行查看。我们利用历史数据进行这些分析，例如，查看用户的历史请求特征及聊天机器人的响应特征。”
为何常规IT团队无法应对这些攻击？
Scanta首席执行官ChAItanya HiReMath表示，拥有自己IT团队的公司往往会选择外包机器学习安全服务。这些IT团队真的能将机器学习安全协议纳入自身吗？HiReMath表示：“我们与许多公司交流后发现，许多人对于机器学习威胁并不知情，这让我感到惊讶。现实是，很多人甚至不知道这需要防范。大多数IT团队和安全解决方案提供的安全性与Scanta提供的安全性截然不同。我们讨论的内容是一个全新的层面，远远超出消除训练数据中的偏见。”
在达美航空的例子中，网络攻击者通过入侵聊天机器人并修改源代码，获得了私人客户数据。HiReMath表示：“这是因为没有人监视进入聊天机器人的内容及其活动，这正是当今机器学习技术构建方式的结果。然而，必须有机制来判断是否存在恶意行为。我们将此系统称为零信任框架，确保所有方面都得到保护。这与保护数据库或网络同样重要。”
随着人们日常生活和个人数据愈加与计算机系统交织，提高数据安全性变得尤为迫切。特别是像GDPR这样的组织所制定的数据法律，使得企业比以往任何时候都更需要保护其私人和客户数据。
Scanta公司与机器学习安全的未来
HiReMath表示：“我们希望成为机器学习安全的领导者，帮助各行业的企业保护他们的机器学习系统。我们不仅将其视为应用程序的插件或附件。在未来三到五年内，我们看到这一领域将形成自己的行业，而我们希望成为市场的领导者之一。机器学习安全有广泛的应用场景。现在，我们希望专注于虚拟助手和聊天机器人。我们不仅希望成为聊天机器人安全的领导者，还希望在其他机器学习系统中发挥领导作用。我们目前正在进行研发，以寻找能帮助他们保护的其他领域。”
增强机器学习模型的安全性将使数据科学界和人工智能技术的日常用户受益。在2020年上半年，因固有的种族偏见及执法部门可能滥用的证据，IBM抵制面部识别技术。重要的是，像IBM、达美航空和特斯拉这样的企业应在开发之前，先考虑安全性和社会影响。
希望未来有更多像Scanta这样的公司出现，为开发机器学习技术的公司和使用这些技术的用户创造更安全的人工智能系统。
[[[IMG_1]]]
[[[IMG_2]]]
[[[IMG_3]]]
[[[IMG_4]]]
[[[IMG_5]]]
[[[IMG_6]]]
