DeepPCR算法提升神经网络训练与推理速度

近期推出的 DeepPCR 机器学习算法通过并行化常规顺序操作，提升了神经网络的推理与训练速度。

神经网络已经能够完成文本和图像的生成、分割与分类等复杂任务。然而，巨大的计算需求往往使训练和结果反馈需要数天甚至数周。

为提高效率，广泛采用并行化技术来加速训练与推理。

然而，神经网络中的部分操作仍以顺序方式执行。扩散模型在多轮去噪阶段产生输出，并逐层进行前向与反向传播。随着步骤增多，这些顺序流程在计算上变得昂贵，易形成瓶颈。

为解决这一难题，相关研究团队提出了 DeepPCR 算法，进一步提升了训练与推理的速度。

团队采用平行循环还原（PCR）算法来实现该解决方案，将顺序过程的计算成本从 O(L) 降低至 O(log2 L)，显著降低复杂性并提升运行速度。

在多层感知器（MLP）中部署 DeepPCR 算法后，前向与反向传播实现了显著并行，前向速度最高提升约 30 倍，反向传播速度最高提升约 200 倍。

DeepPCR 是一种在神经网络训练与推理中并行化顺序流程的创新方法。其核心在于将计算复杂度从 O(L) 降至 O(log2 L)，其中 L 是序列长度。

该方法已被用于并行化多层感知器的前向与后向传播，并对其性能进行了广泛分析，以探索高性能工作状态及基本设计参数的影响。

该方法已用于在 MNIST 上对深度 ResNet 的训练进行加速，以及在 MNIST、CIFAR-10 与 CelebA 数据集上训练的扩散模型生成任务。结果显示，DeepPCR 能带来显著加速：ResNet 的训练吞吐速度提升约 7 倍，扩散模型的生成速度提升约 11 倍。