内存中的人工智能功能发展与应用进展

在 Hot Chips 33 会议上，业界展示了内存内处理（PIM）技术的最新进展，会议被视为半导体领域的重要年度盛事，聚焦微处理器与IC创新产品。

公开信息显示，该公司首次将基于 PIM 的高带宽存储器（HBM-PIM）整合到商用加速器系统，并将 PIM 的应用扩展到 DRAM 模组与移动内存，推动内存与逻辑的融合迈出关键一步。

HBM-PIM 已被集成到 AI 加速器中。今年2月，该方案推出首个 HBM-PIM 版本（Aquabolt-XL），将 AI 处理能力嵌入到 HBM2 Aquabolt 中，旨在提升超算和 AI 应用的高速数据处理能力。随后，该技术在 ViRtex UltRaScale+（Alveo）AI 加速器上进行测试，显示系统性能提升约 2.5 倍，能耗下降超过 60%。

公司高管表示，HBM-PIM 是该公司在客户 AI 加速器系统中进行测试的首个 AI 定制内存解决方案，展现出巨大的商业潜力。随着技术标准化推进，这项技术的应用预计将扩大至下一代超级计算机和 AI 应用的 HBM3，以及面向设备端 AI 的移动存储器和数据中心存储模块。

赛灵思与该公司长期合作，从 ViRtex UltRaScale+ HBM 系列起就为数据中心、网络与实时信号处理等场景提供高性能解决方案。近日，双方还推出了 VeRsal HBM 系列产品。设计团队表示，双方将继续推进合作，评估 HBM-PIM 系统在 AI 应用中的性能与能效提升潜力。

AXDIMM 技术在 DRAM 模块内进行处理，旨在尽量减少 CPU 与 DRAM 之间的海量数据传输，从而提升 AI 加速器系统的能源效率。缓冲芯片内嵌 AI 引擎，AXDIMM 能对多组内存排列并行处理，相较于逐组访问，性能与效率显著提升。AXDIMM 模块仍保持传统 DIMM 的外形，可以在无需系统改动的情况下直接替换。目前，该模块正在客户服务器上测试，在基于 AI 的推荐应用中可实现约 2 倍性能提升，并将整个系统能耗降低约 40%。

该公司持续与行业伙伴合作，探索在内存内数据库（IMDB）等场景中的应用潜力。相关负责人表示，结合性能预测与潜在的整合方案，依托 AXDIMM 的分解计算，IMDB 的性能与能效预计将获得显著改善，并期望在未来继续深化合作。

该公司还表示，移动存储器版本的 LPDDR5-PIM 可在不连接数据中心的前提下提供独立的 AI 功能。模拟测试显示，LPDDR5-PIM 在语音识别、翻译与聊天机器人等应用中，性能提升可超过 1 倍，且能耗下降超过 60%。

未来，该领域将通过与行业领导者的深度合作推动平台标准化，目标是在 2022 年上半年实现 PIM 平台标准化，进而扩大 AI 内存产品线，并建立一个完善的 PIM 生态系统，以促进内存市场的广泛应用。