美光探索“近 GPU NAND”：在显存与存储之间为大模型推理扩容
据 IT之家援引 DigiTimes 9 月 2 日报道，美光正在研究一种高耐久性 NAND 闪存模块，目标是把 NAND 存储部署到更靠近 GPU 的位置，而不是像传统存储架构那样，让 GPU 通过多层协议访问距离较远的存储池。来源显示，这一方案目前被称为 “近 GPU NAND”（near-GPU NAND），它试图在存储密度、耐久性与 I/O 性能之间取得新的平衡，并可能为更大规模 AI 模型的运行提供支撑。
从“远端存储”到“贴近 GPU”：美光想解决什么问题
在当前 AI 计算系统中，GPU 通常依赖 HBM、GDDR 等高带宽显存承载模型权重、缓存与中间数据；而普通 SSD 或存储池虽然容量更大，但距离 GPU 更远，访问链路更长，延迟与带宽都难以与显存相比。对于大语言模型推理来说，显存容量往往是决定能否顺畅运行更大模型的重要瓶颈。
据报道，美光探索的近 GPU NAND 并不是简单把传统 NAND SSD 搬到服务器里，而是希望让 GPU 能够直接访问规模达到数百 GB 的 NAND 存储池。该模块可能被放置在 GPU 封装内部，也可能部署在 PCB 上，工作形态与 HBM、GDDR7 等靠近计算单元的存储方案有相似之处。
不过，它与 HBM 的定位并不完全相同。来源提到，这类 NAND 面向的是非低延迟 / 高带宽工作负载，也就是说，它并不一定要替代显存承担所有最敏感的数据访问，而更像是在显存与传统存储之间增加一层更靠近 GPU 的高速缓冲层。
牺牲部分密度，换取更适合 AI 的带宽与耐久性
传统 TLC 或 QLC NAND 的优势在于容量和成本，但在频繁访问、持续读写以及 GPU 近端高速 I/O 场景中，可能并非最理想选择。来源显示，美光正在研究的这一 NAND 芯片存储密度会低于传统 TLC 或 QLC NAND，但重点放在提升 I/O 速度、带宽以及耐久性上。
这意味着近 GPU NAND 更像是一类面向 AI 计算场景重新设计的存储层：它不追求单纯堆容量，而是希望在 GPU 可接受的访问距离内，提供比普通存储更高效的数据供给能力。对于大模型推理而言，如果模型部分权重、KV 缓存或其他可分层管理的数据能够被放置在这一层，系统就有机会降低对纯显存容量的依赖。
- 位置更近：可部署在 GPU 封装内部或 PCB 上，缩短 GPU 与存储之间的数据路径。
- 容量补位：让 GPU 直接访问数百 GB 级 NAND 存储池，补足显存容量限制。
- 性能取向：相比传统 TLC、QLC NAND，更强调 I/O 速度、带宽和耐久性。
- 分层存储：处在显存与普通存储之间，可承担高速缓冲层角色。
影响解读：大模型推理硬件栈可能继续“分层化”
如果近 GPU NAND 最终落地，它对 AI 基础设施的意义不只是新增一种存储器件，而是进一步强化“大模型计算需要存储分层”的趋势。过去，AI 硬件优化主要围绕 GPU 算力和 HBM 带宽展开；但随着模型参数规模、上下文长度和推理并发需求提升，单靠扩大显存并不总是经济或可行。
近 GPU NAND 的潜在价值，在于把一部分原本只能放在远端存储中的数据迁移到更靠近 GPU 的位置，从而缓解数据搬运对推理效率的影响。来源摘要提到，该方案落地后，LLM 推理将不再受到显存容量限制。更准确地看，这并不意味着显存不再重要，而是系统可通过新的缓存层和调度策略，让更大模型以更灵活的方式运行。
对产业链而言，这类方案也显示出存储厂商正在主动进入 AI 加速架构的核心区域。美光作为存储芯片厂商，若能在 GPU 近端存储层找到合适位置，将可能与 HBM、GDDR、SSD 形成更细颗粒度的组合方案。未来 AI 服务器的竞争，可能不只是“GPU 数量”之争，也会越来越依赖算力、显存、近端缓存与普通存储之间的协同设计。
目前，近 GPU NAND 仍处于研究和探索阶段，来源并未给出明确量产时间、具体规格或合作平台。但从方向上看，随着 AI 模型继续变大、推理部署成本持续受到关注，围绕 GPU 的新型存储层将成为硬件厂商和云计算平台共同关注的关键变量。