当前，人工智能面临一个显著的问题：成本过高。例如，训练现代计算机视觉模型Resnet-152大约需要100亿浮点运算，这与当今的语言模型相比显得微不足道。
以OpenAI的最新自然语言模型GPT-3为例，预计训练成本高达3000万亿浮点运算，使用商用GPU的费用至少达到500万美元。而人类大脑只需一杯咖啡便能完成面部识别、回答问题，甚至驾驶汽车。
尽管如此，我们在技术上取得了显著进步。
早期计算机的开发有其特定的目的。1822年，英国数学家查尔斯·巴贝奇发明了“差分机”，用于计算多项式函数。1958年，康奈尔大学的教授弗兰克·罗森布拉特创造了“Mark I”，这是单层感知器的物理实现，应用于机器视觉任务。在那个时期，硬件和算法是紧密结合在一起的。
然而，随着冯诺依曼体系架构的出现，硬件与算法开始分离。这一架构通过计算处理单元和存储数据及程序指令的内存单元，使得构建可以编程的通用计算机成为可能，并成为现代数字计算机的基础。
但这也带来了矛盾。数据密集型程序需要大量内存单元与计算单元之间的通信，这会降低计算速度。所谓的“冯诺依曼瓶颈”就是导致人工智能早期尝试失败的原因之一。标准CPU在处理深度神经网络的核心计算操作——大型矩阵乘法时效率较低，现有硬件的限制使得早期神经网络的表现不尽如人意。
有趣的是，这一问题的解决方案并未出自学术界，而是游戏行业。20世纪70年代，为了加速视频游戏的开发，GPU的出现让数据密集型操作得以在千百个计算核心上并行处理，有效缓解了冯诺依曼瓶颈。GPU的出现使得训练更深层次的神经网络成为可能，并成为现代人工智能技术的主要硬件。
在人工智能领域，成功往往与运气密不可分。谷歌研究员萨拉·胡克称之为“硬件彩票”：早期的AI研究人员因受限于速度缓慢的CPU而遭遇不幸，然而那些在GPU时代投入AI领域的研究人员则“赢得了”这张硬件彩票，得以利用GPU的加速特性迅速推进研究。
然而，一旦这个领域的所有人都成为赢家，创新的探索便变得更加困难。硬件的发展速度缓慢，芯片制造商需要进行大量不确定的前期投资。优化标准矩阵乘法成为一种普遍做法，但这种对特定硬件和算法组合的关注可能会限制我们的选择。
回到最初的问题，为什么当今的人工智能如此昂贵？或许是因为我们尚未拥有合适的硬件。硬件彩票的存在结合商业激励，使得我们在经济上难以突破现状。
以GeoFFRey Hinton的胶囊神经网络为例，这是一种新颖的计算机视觉方法。谷歌研究员Paul Barham和Michael Isard发现这种方法在CPU上十分有效，但在GPU和TPU上的表现却不尽如人意。
其原因在于加速器的优化主要针对标准矩阵乘法等高频操作，而缺乏对胶囊卷积的支持。他们的结论（也是论文标题）是：机器学习系统陷入困境。
AI研究人员可能会“过度适应”现有的硬件，从而在长远上抑制该领域的创新。
未来的方向
要实现下一步的突破，可能需要一种全新的视角：将硬件、软件与算法结合起来，对世界进行建模。
在人类大脑中，记忆与计算并不是独立的部分，而是在同一地点——神经元中发生的。记忆源于神经元通过突触的连接方式，计算则来自神经元对感官输入信息的触发与传播。与早期计算机相似，硬件与算法是同一体，这与我们当前构建人工智能的方法截然不同。
尽管由GPU和TPU驱动的深度神经网络在许多任务中表现优异，但这并非长久之计。也许它们仅仅是硬件与算法组合架构在广阔前景下的局部最优解。
意识到仅有算法远远不够是前进的起点。下一代人工智能需要在硬件和算法方面都进行创新。AI研究在GPU出现之前曾一度停滞不前，如果没有硬件突破，我们可能再次面临发展停滞的困境。
