Hinton在社交媒体上发起了一场小讨论，探讨了在设计神经网络时是否应借鉴大脑的构造，类似于设计飞行器时从鸟类羽毛中汲取灵感。
那么，神经网络的设计是否真的可以参考人类大脑的结构呢？
一些网友热烈讨论，认为飞机的设计确实来源于鸟类。大自然给予了我们飞行的启示，人工智能的进步也应该如此。神经网络依然在不断发展，面对大自然已经给出的解决方案，我们没有理由不去学习，除非我们失去理智。
还有网友指出，人类无法像鸟类和昆虫那样灵活地“飞行”。那么对大脑而言，什么是“飞行”？或许是预测能力吧。神经网络无法像大脑那样执行多种任务，这让我感到很启发。
也有网友提到，对于分类问题，反向传播（BP）可以视为带有特征工程的逻辑回归（LR）。
为什么这个问题值得关注呢？在数学中，我们使用工具以获得想要的结果，若一切顺利，最终会理解这些工具为何有效。对于分类问题，反向传播可以看作是具有特征工程的逻辑回归。
还有网友提到，自我保护和自我维持的设计尚未被纳入机器的考虑之中。
大脑和鸟类因生存需求而进化出自我修复的能力，而无人机及其碰撞的物体被视为人工制品，可以被替代。自我保护和自我维持的设计尚未被机器所考虑。
甚至有网友质疑大脑-神经网络与鸟类-羽毛之间的类比是否合理：
我们需确认神经网络与大脑之间的关系是否能与羽毛与鸟类的关系相提并论……对此我并不确定。
还有网友引用了《大英百科全书》的解释：
羽毛的进化早于鸟类，甚至早于鸟类的飞行。因此，早期羽毛主要用于保温，而非空气动力学或飞行功能。羽毛如今不再被视为鸟类独特的特征。
在反向传播算法问世的几十年中，关于大脑如何学习的理论主要受到“赫布理论”的影响，该理论通常被理解为“共同激发的神经元之间存在连接”，即相邻神经元活动越相关，突触联系越强。
经过一些调整后，这一理论成功解释了某些学习和分类任务。
尽管赫布理论在错误信息使用时显得非常狭隘且不敏感，但对神经科学家而言，它依然是最佳的学习规则，20世纪50年代后期还促成了第一个人工神经网络的发展。
在这些网络中，每个人工神经元接收多个输入并生成一个输出，类似于真实神经元。人工神经元通过所谓的“突触”权重对输入进行加权求和。
到了20世纪60年代，这些神经元能够被组织成一个包含输入层和输出层的网络，从而使“人工神经网络”能够被训练以解决某些简单问题。
在训练过程中，神经网络为其神经元确定最佳权重，以降低误差。
然而，直到1986年，没人知道如何有效训练带有“隐藏层”的人工神经网络，直到Hinton发表了“反向传播算法”的相关论文。
反向传播的提出立即引发了一些神经科学家的强烈反对，他们认为这种方法不可能在真实大脑中实现。
首先，虽然计算机能够轻易地在两个阶段实现该算法，但对于生物神经网络来说，难度却大得多。
其次，计算神经科学家所称的权重传递问题：反向传播算法复制或“传输”推理所需的所有突触权重信息，并更新这些权重以获得更高准确性。
但是在生物网络中，神经元只能接收到其他神经元的输出，而无法看到影响输出的突触权重或内部过程。
从神经元的角度来看，“了解自身的突触权重是可能的，但你无法知道其他神经元的突触权重。”
任何在生物学上可行的学习规则都必须遵守神经元只能从相邻神经元获取信息的限制；而反向传播可能需要从更远的神经元获取信息。
因此，“如果你反向传播信号，大脑似乎不可能进行计算。”
胶囊网络
2017年，深度学习领域的领军人物之一Geoffrey Hinton发表了两篇论文，介绍了“胶囊网络（Capsule Networks）”。
在当时，这种全新的神经网络以其新的结构——胶囊，在图像分类上展现了更优越的性能，解决了卷积神经网络（CNN）的一些缺陷，如无法理解图片与语义间的关系、缺乏空间分层和空间推理能力等。
在CNN中，左右两幅图均可被网络识别为人脸。
甚至Hinton自己也曾公开表示，他要证明卷积神经网络完全是“垃圾”，应该由自己的胶囊网络替代。在过去三年中，他每年都推出一个新版本的胶囊网络。
今年2月，Hinton发表了一篇新论文，讨论如何在神经网络中表示部分-整体层次结构。
在这篇论文中，他提出了一个称为GLOM的架构，能够在神经网络中用胶囊表示视觉的层次结构，即部分与整体的关系。
GLOM通过提出“island”概念来表示解析树的节点，显著提升了Transformer类模型的可解释性。
作为深度学习的先锋，Hinton提出了反向传播（BP），随后又不断质疑自己的工作，提出了胶囊网络及其他研究，以增加生物学上的解释。他的思考从未中断，持续探索大脑构造与神经网络之间的奥秘。
