“HBM 之父”金正浩：AI 性能瓶颈正从 GPU 转向内存，推理时代更看重数据吞吐
据 IT之家 7 月 6 日消息，被誉为“HBM 之父”的韩国科学技术院（KAIST）电气系教授金正浩近日在接受《东亚日报》采访时表示，AI 竞争的关键正在从 GPU 逐步转向内存。他认为，AI 的本质并不只是算力堆叠，而是围绕数据读取、传输、计算与写回形成的系统效率。在 AI 推理过程中，GPU 的实际计算利用率远低于理论上限，即便部署大量 GPU，真正用于计算的时间也可能只有 10%-30%。
这一判断指向了当前 AI 基础设施中的一个核心矛盾：模型规模、上下文长度、多模态输入和智能体应用不断扩大，但数据并不会自动进入 GPU。每一次输出结果之前，系统都需要先从 HBM 等内存中读取数据，再送入 GPU 计算，随后把结果写回内存。对于面向中文读者关注的 AI 工具、模型服务和企业智能化部署而言，这意味着未来比拼的不只是“有多少 GPU”，还包括内存带宽、容量、封装方式以及数据调度能力。
从训练时代到推理时代：GPU 不再是唯一性能中心
金正浩的观点强调了 AI 发展阶段的变化。过去一段时间，产业关注重点主要集中在大模型训练，训练任务高度依赖 GPU 的矩阵计算能力，因此 GPU 很自然成为性能和成本讨论的中心。但随着模型逐步进入应用落地阶段，更多计算发生在推理环节：用户提问、工具调用、图像理解、视频分析、文档检索、长期记忆管理等任务都需要持续访问大量数据。
在这种场景下，决定系统表现的不只是浮点计算峰值，而是一次能处理多少数据、数据能以多快速度被读取和送达计算单元。金正浩因此提出，内存能力将直接影响 AI 性能上限。这也解释了为什么 HBM 近年成为 AI 芯片产业链中最受关注的零部件之一：它不是简单的配套存储，而是影响 GPU 是否“吃得饱”的关键环节。
- 训练阶段：更强调 GPU 计算能力和大规模并行训练效率。
- 推理阶段：更依赖数据访问速度、内存带宽、容量和系统调度。
- 多模态与智能体场景：需要处理视频、文档、历史上下文、长期记忆等更复杂数据。
- 产业竞争焦点：可能从单一芯片性能，转向内存、封装、互连和软件栈的综合能力。
HBM 之后：HBF 与 HBS 被视为未来路线
目前，HBM 已是面向 AI 加速器的重要高带宽内存方案。但金正浩认为，随着 AI 迈入多模态化以及 Agentic AI（代理式人工智能）阶段，系统将越来越需要保存视频、文档、长期记忆等海量“冷数据”。这类数据未必始终需要以最高速度访问，却要求容量足够大、与计算系统结合足够紧密。
在这一背景下，他提出 HBF 技术可能成为未来主流。来源显示，HBF 可以理解为将 NAND 闪存像 HBM 一样进行堆叠，用于满足更大规模数据存储与访问需求。金正浩预测，10 年后 HBF 的市场需求将超过 HBM。更远期来看，他还提到 HBS（高带宽 SRAM）可能成为主流方向。该方案设想采用读写速度比 DRAM 快 1000 倍的 SRAM，并包括在整片 12 英寸晶圆上铺设 SRAM、将容量提升至约 1600GB，以实现大容量高速数据处理。
影响解读：AI 基建将从“买 GPU”走向“三维内存系统”竞争
金正浩还用一个形象比喻描述未来 AI 计算机形态：HBM 类似商场，承担高频数据供给；HBF 层像住宅区，保存大量长期数据；HBS 则承担高速缓存功能。不同形态的 HBM、HBF、HBS 组合在一起，为 GPU 持续提供数据，最终形成约 100 层规模的 3D 复合架构。
对于 AI 产业而言，这一判断具有重要启发。未来模型能力提升未必只来自更大的 GPU 集群，也可能来自更先进的内存体系、2.5D/3D 封装、芯片间互连以及数据管理软件。尤其在企业级 AI 应用中，推理成本、响应延迟、上下文容量和长期记忆能力会越来越重要，内存系统将直接影响用户体验和商业化效率。
金正浩长期从事 HBM 与 2.5D/3D 集成封装研究，来源称其自 2010 年开始与 SK 海力士研发 HBM1，并在去年参与 HBM4-HBM8 长期发展路线图规划。结合他的判断来看，AI 硬件竞争正在进入更复杂的系统工程阶段：GPU 仍然重要，但内存正在成为决定 AI 推理效率的新核心变量。