互联网资讯 / 人工智能 · 2023年11月11日 0

硬件落后导致研究想法无法实现

研究想法的成功与否,关键在于是否拥有适合的软硬件,而非该想法本身的优越性。

天时、地利、人和,三者缺一不可,胜利也可能遭遇灾祸。

一件事情的成败往往受到多种因素的影响,类似于兵法中的「天时」、「地利」、「人和」。在计算机科学的历史中,硬件、软件和算法三者对研究想法的成败也有着重要的影响。

最近,谷歌大脑的研究员SaRa HookeR发表了一篇论文,提出了“硬件彩票”(hardware lottery)这一概念,她认为一个研究想法的成功往往依赖于合适的软硬件,而不是该想法比其他方向更具优势。早期计算机科学的许多案例表明,硬件彩票现象常常因为忽视成功研究想法而拖慢研究进度。此外,领域专用硬件的出现增加了研究想法偏离常规路径的成本,使这一现象更加明显。

论文指出,算力的进步带来的收益并不均匀,某些研究方向得以快速发展,而另一些则面临重重困难。

在人工智能领域,硬件对想法的成功与否有着决定性的影响。

历史经验告诉我们,科学的进展往往并非一帆风顺。知识的积累和可用工具会导致科学家对特定想法有不同的理解,这为判断研究想法的潜力增添了复杂性。论文强调,在人工智能研究中,工具对研究想法成败的影响至关重要。

论文中提到的“硬件彩票”现象表明,一个研究想法的成功通常依赖于其与当时软硬件的兼容性,而不是该想法比其他方向更优秀。早期计算机科学的发展中,软硬件的选择往往对研究想法的成败起到了决定性作用。

随着我们进入一个软硬件与机器学习研究社区密切合作的新阶段,这些经验变得愈加重要。过去几十年,人们常常将硬件、软件和算法视为相互割裂的选项,而推动这三者更加紧密合作的催化剂包括正在变化的硬件、深度学习架构中“规模越大性能越好”的理念,以及将机器学习部署到边缘设备的需求。

软硬件与机器学习算法之间更紧密的协作,核心在于新一代领域专用硬件,这些硬件针对深度神经网络的商业应用进行了优化。尽管领域专用硬件为主流深度神经网络研究带来了显著的效率提升,但也使得研究想法偏离现有路径的成本上升。硬件市场的更加碎片化意味着基于算力进展的收益将更加不均衡。尽管深度神经网络已经具备明确的商业应用场景,但目前已有早期迹象显示,实现人工智能的下一个突破可能需要全新的算法、硬件和软件组合。

硬件、软件、算法:三个独立的领域

对于第一代计算机的创造者而言,程序即是机器。早期的机器往往是单用途的,无法适应新的任务,原因在于电子器件成本高昂且缺乏跨任务的软件。

查尔斯·巴贝奇的差分机仅用于计算多项式函数(1817)。美国首部大规模自动数字计算机马克一号(MaRk I)是可编程计算器(1944)。Rosenblatt的感知器用于计算单层网络(1958)。甚至被广泛认为是首批可编程机器的雅卡尔织布机,由于重新穿孔的成本高昂,通常只穿孔一次(1804)。

早期计算机马克一号(MaRk I)

这些早期计算机的专用性是基于当时的需求,而非设计师认为一次性定制硬件更优。然而,人类智能本质上是算法与机器的结合。我们在一生中并不会拥有多个大脑。人类智能的概念与1400克的脑组织以及大脑中850亿神经元之间的连接密切相关。当我们谈论人类智能时,脑海中浮现的图像可能是一团粉色带褶皱的物质。