在自动驾驶和其他一些关键应用中，数据是实时且动态变化的，并且常常会出现意外情况。为了解决这一挑战，麻省理工学院（MIT）的研究者受到生物神经元的启发，开发了一种新型神经网络，并通过理论与实验验证了其有效性，同时相关代码已公开。
MIT 的研究团队创造了一种新型神经网络，能够在训练过程中学习，并在后续阶段持续适应。这个灵活的算法被称为「Liquid」网络，因为它能够像液体一样，调整其底层数学方程，以持续适应新的输入数据。这种进展对于处理基于动态变化数据的决策任务，如医疗诊断和自动驾驶，具有重要意义。
该研究的主要作者 RaMin Hasani 表示：“这条路能迈向未来的机器人控制、自然语言处理、视频处理——任何形式的时间序列数据处理。”他强调，这项技术的潜力巨大。
这篇研究论文被选为 AAAI 2021 会议的入选论文之一。Hasani 进一步指出，时间序列数据不仅普遍存在，而且对于理解世界至关重要。“真实世界与序列密切相关。我们的感知方式也是如此——我们感知的不是静止的图像，而是图像的序列，”他说，“因此，时间序列数据实际上构建了我们的现实。”
Hasani 指出，视频处理、金融数据和医疗诊断等应用都涉及时间序列，并对社会产生重要影响。这些不断变化的数据流往往难以预测，但如果能够实时分析并利用这些数据预测未来行为，将极大推动自动驾驶等技术的发展。
研究者们设计了一种可适应实时世界变化的神经网络，灵感来源于生物大脑，尤其是秀丽隐杆线虫（C. elegans）。Hasani 说明：“它的神经系统仅由 302 个神经元组成，却能够产生复杂的动态反应。”
通过仔细观察秀丽隐杆线虫神经元的激活方式及其通过电脉冲进行交流的方式，Hasani 编写了他的神经网络。在构建神经网络的方程中，参数会根据一组嵌套的微分方程的结果随时间变化。
算法 1：由聚合的常微分方程（ODE）求解算法实现的 Liquid 时间常量（LTC）循环神经网络，其中 θ 是参数空间，f 可以是任意激活函数。
算法 2：通过随时间反向传播（BPTT）训练 LTC。
这种灵活性是 Liquid 网络的核心特征。大多数神经网络在训练完成后其行为会固定，难以根据输入数据流的变化进行调整。而 Hasani 表示，Liquid 网络的流动性使其能更灵活地应对意料之外的数据或噪声，例如暴雨遮蔽了自动驾驶汽车的摄像机视野。“也就是说，它更加鲁棒。”
Hasani 还补充，网络的灵活性还有一个重要优点：“它更容易被解释。”他指出，Liquid 网络避免了其他神经网络常见的复杂性问题。“只需改变神经元的表征方式，就可以探索以其他方式无法达到的复杂程度。”这种改变是通过使用微分方程实现的。由于神经元数量少但具有高度表征能力，更容易理解网络决策过程的“黑箱”，并诊断出网络为何表现出特定特征。
Hasani 认为：“这个模型本身具有丰富的表现力。”这将有助于工程师理解和提升 Liquid 网络的性能。
Hasani 计划继续改进该系统，并探索其在各行业的应用。“受大自然启发，我们已经有了一个证明有效的更具表现力的神经网络，但这只是一个开始。”他说，“显而易见的问题是：我们如何扩展它？我们认为这类网络将成为未来智能系统的关键组件。”
[[[IMG_1]]]
[[[IMG_2]]]
[[[IMG_3]]]
[[[IMG_4]]]
