美国国防高级研究计划局(DARPA)曾提出第三波人工智能的概念，其中一个核心目标是实现通用人工智能。这意味着目前的人工智能依然主要依赖于统计学信息。当输入模型的数据分布发生变化时，例如任务的变化，人工智能往往难以达到预期效果。传统人工智能算法致力于寻找生物学依据，尽管这一需求受到不少质疑。可以说，飞机的飞行原理与鸟类大相径庭，但在找到更优算法之前，向人脑学习或许是一个更明智的选择。既然如此，人类探索世界的方式便成为了AI最优秀的老师，而哲学则是人类探究世界过程中的基础，越来越多的学者开始认识到哲学的价值，并尝试将其思维方式应用于AI算法中。
因此，本文从科学认知的不变性入手，探讨HTV存在的必要性，以及如何在AI中基于内部和外部可变性来衡量并实现这种不变性，最后将介绍几个新提出的实现认知不变性的具体标准。
什么是科学认知不变性（HTV）
图1：David Deutsch在其TED演讲中强调了HTV的重要性。
简单来说，科学认知不变性意味着我们所提出的理论应该是稳定的。维基百科对HTV的定义是：理论家应当寻求难以变化的解释。这个表达的意图是，难以变化的解释提供了具体细节，这些细节紧密结合，无法改变任何细节而不影响整个理论。
从这个角度来看，神话可以被视为人类认知世界的极端反例。例如，在古希腊神话中，季节的变化是因为冥界之神哈迪斯绑架了春天之神珀尔塞福涅，并迫使她每年回到冥界。如果古希腊人知道在得墨忒耳悲伤的时候，澳大利亚却是最热的，他们就会意识到这个理论的错误。
除了事实带来的矛盾，四季的解释还可以有其他不同的故事。比如在另一个故事中，春天之神返回的原因不是婚约，而是复仇。这样的故事同样解释了季节现象，但与原始神话的逻辑截然不同。这表明，原始神话的细节与季节无关，除了通过神话本身的叙述。
如果上述故事太复杂，可以举一个更简单的例子：过去的神话认为下雨是龙王控制的，而雷电则是雷公的职责。这类故事很容易被修改，只需更换角色即可实现相同的效果。这样的解释却完全不同，分别代表了中国古代神话和现代流行文化。
因此，HTV的提出是有必要的。如果现有的科学理论的内在逻辑像这些故事一样易于篡改但仍能达到相同的结果，那将是非常可怕的。这也解释了为什么现在的AI黑盒模型难以赢得非专业人士的信任。要实现不变性，这些神话缺失了什么呢？回到对季节的解释，它们缺失的关键元素是理论内部演绎逻辑所带来的约束。现代科学对季节的解释就是一个很好的例子，它涉及太阳光线与地轴倾斜之间的几何推导。尽管存在一些自由参数，但大部分解释源于不可改变的几何推导。显然，这种约束的前提是我们所建立知识的一致性。
HTV能做什么
当前的人工智能行业正在蓬勃发展，一些公司已推出全自动驾驶汽车，谷歌的Duplex系统因其自然语言对话能力而受到广泛关注。最近的GPT-3模型也证明能编写非常引人入胜的故事，并在测试中执行超出训练范围的任务。然而，许多人工智能仍然无法达到人类的常识理解水平，在机器人操作物体时显得笨拙，进行任意推理时效果不佳。此外，现今的人工智能无法像人类一样从少量例子中学习，而是需要大量数据进行训练。更重要的是，当前的人工智能系统都属于狭义人工智能（Narrow AI），只能在其训练数据分布范围内执行任务。一旦超出这个范围，它们通常会失败。
换句话说，如今的AI更注重归纳结果。但这带来了矛盾：如果AI真的要向人脑学习，学者们无法回避波普尔提出的认知论。波普尔反对归纳法，认为它并不是科学知识增长的必要条件。目前许多机器学习方法及科学研究实际上相当于贝叶斯归纳法，而一个流行观点是，所有人工智能系统都近似于索罗门诺夫归纳法。
正如某辩论节目所言，哲学更多是用来证伪而非验证。而AI几乎在努力追求“证实”。简单来说，AI希望能够产生完全准确的理论，这显然是不可能的。在波普尔看来，理论是为了解决问题而产生的“大胆猜想”，而非单纯从经验中获得。例如，阿纳萨哥拉斯在公元前450年提出星星是遥远的太阳的大胆猜想。尽管人工智能研究者对如何产生这种猜测感兴趣，但波普尔更关注的是猜测的心理学背景。毕竟，猜测的真实性与其来源无关。虽然经验能够告诉我们哪些猜测应被保留，哪些应被抛弃，波普尔认为经验总是带有理论色彩的。换句话说，不可能像弗朗西斯·培根所说，以完全客观的方式进行观察。
在波普尔看来，理论与观测先后出现的问题就像鸡与蛋的问题。科学理论建立于观察之上，但这些观察又受到之前科学理论的影响，因此我们可以追溯到史前科学的神话。虽然理论的实证检验在证明某些理论错误的同时保留其他理论方面发挥作用，波普尔认为，所有理论的源头在于“内部”，而非外部印象。如果可证伪性是判断理论是否科学的关键，那么建立在神话之上的理论，即便能对神、魔鬼的行为做出可证伪的预测，是否仍应被视为科学呢？波普尔通过“可证伪性的程度”概念部分解决了这一问题，但这一原则的有效性依然不明确。
因此，HTV的存在是必要的，因为它似乎可以作为区分科学理论与非科学理论的替代标准。如果AI自称为智能，那么HTV也可以用来验证AI模型输出的有效性。
AI与HTV的关系
一般而言，HTV可以被理解为针对特定理论的等价解释数量。在机器学习环境中，HTV原理可应用于各种模型架构，每种架构都有固定数量的参数。参数越多的模型能够表达更大的函数类，从而更容易变化。
表面上看，HTV原理似乎与经典统计中的偏差-方差权衡有关，即参数过多的模型更容易对训练数据过拟合，导致在测试数据上的泛化能力下降。然而，我们关注的是外推，而非训练分布内的经典泛化。因此，偏差-方差权衡与HTV原理并不相关。此外，在机器学习中，随着参数的增加，偏差-方差权衡的有效性已被证明会失效，超过某个阈值后将出现“双下降”曲线。因此，目前来看，更多参数通常是有益的，不会带来坏处。这也使得偏差-方差权衡的存在值得怀疑。如何区分适用与不适用偏差-方差权衡的模型仍是一个持续的研究领域。同时，过拟合的问题通常可以通过更大的数据集来解决。因此，大型模型本质上并不坏，关键在于可用数据的数量。
因此，HTV与奥卡姆剃刀原则更为接近。该原则的核心在于，模型越简单越好，简单模型能完成的任务不必用复杂的模型来实现。KOLMogoROV复杂度能够有效衡量这一原则。
若字符串s的描述d(s)具有最小长度，则称其为s的最小描述，d(s)的长度即为s的KOLMogoROV复杂度，记作K(s)。最短描述的长度取决于描述语言的选择，但改变语言的影响是有限的。在AI中，这种简单性的衡量可以通过两种方式进行：
一方面利用已有的解释框架，另一方面考察训练好的模型的复杂程度。HochReITeR和ScHMidhubeR发现，参数空间损失函数表面上的平面极小值的深度学习模型更易于推广。
