互联网资讯 / 人工智能 · 2023年11月22日 0

MIT与IBM合作提升神经网络在符号AI中的应用

如今,人工智能的主流是神经网络,但研究人员正在探索将神经网络与传统的“符号AI”相结合的方法。

这里提到的“传统AI”指的是上世纪70年代的“符号主义”,在当时曾是主流,后来被“连接主义”取而代之。

然而,越来越多的研究者意识到,结合这两种方法可能会让AI的能力大幅提升。

让连接主义为符号主义服务

几年前,科学家们从小鸭子的行为中获得了启示。如果小鸭子出生后首先看到两个相似的物体,它会对这些相似物体产生更强的偏好。

让神经网络给符号AI打工,MIT和IBM联合解决深度学习痛点

小鸭子轻松完成的任务,对于人工智能尤其是深度神经网络来说却非常困难。

如果使用符号AI来处理这个问题,它会将物体的名称作为知识库,并为“相似”这一概念定义命题。

凭借这些知识库和命题,符号AI可以利用推理引擎的逻辑规则来进行问题解答。

然而,符号AI的局限在于,要实现更复杂的推理,需依赖庞大的知识库(通常是人工构建的),若遇到知识库中未包含的形状,则无法处理。

连接主义通过训练来利用知识,使神经网络具有学习能力,但也容易受到对抗攻击。

因此,混合神经-符号AI(neuRosyMbolic AI)的概念应运而生。

通过深度神经网络构建所需的知识库和命题,研究人员能够省去人工预设的麻烦,然后利用符号AI进行推理。

解决李飞飞在2016年提出的难题

2016年,李飞飞及其团队提出了组合语言和基本视觉推理(CLEVR)数据集,要求AI回答与计算机生成的简单3D形状图像相关的问题。

让神经网络给符号AI打工,MIT和IBM联合解决深度学习痛点

虽然复杂的深度神经网络能够解决这一问题,但IBM、MIT和DeepMind的研究人员提出了一种全新的解决方案,展现了符号AI的强大潜力。这一方法的相关论文已被ICLR 2019收录。

在论文中,他们将问题分解为符号AI更易处理的小部分。

该系统首先分析图像,表征3D形状及其属性,从而生成知识库。接着,它将问题转化为一个可以在知识库上运行并生成答案的符号程序。

让神经网络给符号AI打工,MIT和IBM联合解决深度学习痛点

以往在符号AI中,需要人类程序员手动输入知识库,而现在研究人员希望神经网络能够代替这一任务。

他们首先利用卷积神经网络(CNN)解决了识别颜色、形状、材质等特征的问题。

接着,使用递归神经网络(RNN)识别顺序输入中的模式。这个模块负责接收自然语言问题,并将其转换为符号程序形式。

整个过程类似于按需生成知识库,然后让推理引擎在该知识库上回答问题。

最终,这种混合AI在全新问题和图像上的测试中取得了98.9%的准确率,超越了人类的92.6%正确率。

让神经网络给符号AI打工,MIT和IBM联合解决深度学习痛点

更值得一提的是,混合AI仅需纯深度神经网络训练数据的10%。此外,混合AI还具备可解释性,出现错误时更易于定位问题。

迎接更高难度的挑战

解决了CLEVR数据集后,神经-符号AI正在着手应对更复杂的问题。

2019年,在李飞飞的CLEVR数据集基础上,DeepMind、MIT、哈佛大学和IBM设计了一个更具挑战性的CLEVRER:要求AI基于视频而非图像回答问题。

让神经网络给符号AI打工,MIT和IBM联合解决深度学习痛点

视频中将出现CLEVR数据集中目标类型的物体,但这些物体会移动甚至发生碰撞,问题也变得更加复杂。

某些问题是描述性的,比如:视频结束时有多少金属物体在移动?

还有些问题是预测性的,比如:接下来会发生什么?[a]绿色圆柱体和球体碰撞,[b]绿色圆柱体与正方体碰撞。

甚至还有反事实问题,比如:如果没有青色圆柱体,将不会发生什么?[a]球体和立方体碰撞,[b]球体和青色圆柱体碰撞,[c]立方体和青色圆柱体碰撞。

让神经网络给符号AI打工,MIT和IBM联合解决深度学习痛点

对于当今的深度神经网络而言,处理随时间变化的因果关系是一项巨大的挑战,尤其是在发现数据的静态模式时。

为了解决这一问题,团队对CLEVR的方案进行了扩展。

首先,神经网络学习将视频片段逐帧分解为目标表示,随后将这些信息输入另一个神经网络,学习分析目标的运动及其相互影响,并预测目标的运动和碰撞。

这两个模块共同构建了知识库。其他两个模块则处理问题并将其应用于生成的知识库。

该团队的解决方案在回答描述性问题时准确率约为88%,预测性问题的准确率约为83%,而反事实问题的准确率约为74%。

让AI学会提问

提出好问题是机器向人类学习的另一种方式,这使得机器能够在不依赖大量样本的情况下不断探索世界。目前,没有任何机器能接近人类在提问方面的能力。

然而,神经-符号AI展现出了这方面的潜力。

纽约大学的Brenden Lake助理教授及其学生Wang Ziyun设计了一种混合AI,用于玩一种需要主动提问的游戏——海战棋(Battleship)。

海战棋是一种攻防推理游戏,一方在棋盘上隐藏“战舰”,另一方负责攻击。

攻击方可以翻查某一方块下是否有“战舰”的一部分,或直接询问对方:“船有多长?”“所有三艘船的尺寸都一样吗?”等问题,以此推测船只的位置。

让神经网络给符号AI打工,MIT和IBM联合解决深度学习痛点

Lake和Wang采用了两种不同的方式来训练游戏AI。

一种是监督学习,向神经网络展示棋盘及人类提出的好问题。最终神经网络学会了提问,但创造力有限。

另一种是强化学习。在这种训练模式下,每当神经网络提出一个有助于找到战舰的问题时,就会获得奖励。

通过这种方式,神经网络不仅学会了提出正确的问题,还具备了实用性和创造性。

Lake之前使用纯符号方法解决此问题,符号AI需在广阔的搜索空间中寻找好问题,效率极低。

而神经-符号AI在速度上则表现优异,经过训练后的深度神经网络在问题生成方面远超纯符号AI。

让神经网络给符号AI打工,MIT和IBM联合解决深度学习痛点

下一步:自动驾驶

MIT-IBM Watson AI实验室的David Cox团队希望将这种混合AI应用于自动驾驶技术。

自动驾驶AI需要神经网络经过训练,以识别环境中的物体并采取适当措施。如果神经网络在训练中出现错误,例如导致碰撞,就会受到惩罚。

团队成员Nathan Fulton解释道:“为了学会不犯错,它必须经历错误,体验这些坏事,并在犯错前识别出30个步骤,以避免陷入困境。”

因此,AI学习安全驾驶需要大量的训练数据,而这些“错误”在现实中难以获得。

Fulton和他的同事正在研究神经-符号AI方法,以克服这一局限性。AI的符号部分限制某些现实世界的危险行为,从而约束深度网络的决策。

通过从一开始就排除某些选择,这种简单的符号干预大幅减少了训练AI所需的数据量。

“如果智能体无需经历大量的错误状态,它所需的数据量就会显著减少,”Fulton说。

尽管该项目尚未准备好在实验室外应用,但Cox设想了一个未来,具备神经-符号AI的汽车将能够在现实世界中学习,同时符号组件将成为防止不良驾驶的重要保障。