俄罗斯人民友谊大学（RUDN）的数学家团队开发了一种创新方法，能够将神经网络的体积缩减至原来的六分之一，而无需进行重新训练。
神经网络压缩是指在不显著影响性能的前提下，通过特定方法减少网络参数和存储需求，主要可分为近似、量化和剪枝三种类型。
近期，RUDN 大学的研究团队提出了一种方法，能够在不增加额外资源消耗的情况下，将已训练的神经网络体积缩减六倍。该方法的核心在于识别初始系统与其简化版本中神经连接权重之间的相关性。这项研究成果已发表于《Optical MeMoRy and NeuRal NetwoRks》期刊。
人工神经网络的结构与生物神经元的工作原理相似。网络中的节点相互连接，部分节点接收信号，部分节点则通过激活或抑制下一个元素来传递信号。信号处理通常涉及多个网络元素和它们之间的连接。然而，计算机模型的容量和存储空间是有限的。为了解决这一问题，研究人员需要开发多种方法以降低模型的能力需求，其中量化是一种有效手段。虽然量化能够减少资源消耗，但通常需要对系统进行重新训练，而 RUDN 大学的数学家们发现可以避免这一过程。
RUDN 大学 NiKOLskii 数学研究所的助理教授 IakOV KaRandashev 博士表示：“几年前，我们在 Hopfield 网络中实现了有效且经济的权重量化。Hopfield 网络是一种关联存储网络，其元素之间遵循 Hebb 规则形成对称连接。在运行中，网络活动会降低至某个平衡状态，当这一状态达到时，任务便被视为已解决。我们在此研究中获得的见解，后来也被应用于当今广泛使用的前馈深度学习网络。通常，这些网络在量化后需要重新训练，而我们找到了避免这一过程的方法。”
简化人工神经网络的关键在于权重量化，即减少每个权重所需的位数。量化有助于信号的均值化：例如，针对图像处理时，相同颜色但不同阴影的像素将被视为相同的数值，从数学角度来看，这意味着某些具有相似参数的神经连接可以共享同样的权重。
RUDN 大学的研究团队进行了详细计算，并建立了一个公式，以有效描述量化前后神经网络权重之间的相关性。基于此，科学家们开发了一种算法，使得已训练的神经网络能够进行图像分类。在实验中，研究人员使用了一个包含 5 万张图片的数据集，这些图片被分为 1000 个类别。经过训练后，网络应用新方法进行量化，而无需重新训练，随后将实验结果与其他量化算法进行比较。
IakOV KaRandashev 补充说：“量化后，分类的准确率仅降低了 1％，但存储需求减少了六倍。实验表明，由于初始权重与量化后权重之间的高相关性，网络无需重新训练。这种方法在执行时间敏感的任务或在移动设备上运行时，非常有助于节省资源。”
