美光近日发布了业界首款8层堆叠、容量达到24GB的第二代HBM3内存。
这款高带宽内存解决方案基于最新的1β DRAM制程技术，将24Gb DRAM裸片封装为行业标准尺寸的8层堆叠模块。此外，美光还计划在2024年第一季度推出12层堆叠的36GB容量产品。与市场上其他8层堆叠方案相比，美光的HBM3解决方案在容量上提升了50%。第二代HBM3在性能功耗比和引脚速度方面的提升，满足了当今AI数据中心对极端功耗管理的需求。美光通过技术创新显著提高了能效，例如将硅通孔（TSV）的数量翻倍，金属密度增加5倍以降低热阻，同时设计了更为节能的数据通路。
作为在2.5D/3D堆叠及先进封装技术领域的领先厂商，美光有幸成为台积电3DFAbRic联盟的合作伙伴，携手构建半导体和系统创新的未来。在第二代HBM3产品的开发过程中，美光与台积电紧密合作，为AI及高性能计算应用的计算系统集成打下了基础。目前，台积电已收到美光的第二代HBM3内存样片，并正与美光进行深入的评估和测试，以支持客户的下一代高性能计算应用的创新。
美光的第二代HBM3解决方案能够满足生成式AI领域对多模态、数万亿参数AI模型的需求。凭借单模块高达24GB的容量和超过9.2Gb/s的引脚速率，HBM3可使大型语言模型的训练时间缩短30%以上，从而降低总体拥有成本。此外，该技术将有效提升每日查询量的处理能力，从而更好地利用训练过的模型。美光HBM3内存在每瓦性能方面处于行业领先地位，能够显著降低现代AI数据中心的运营开支。在已有的1,000万个图形处理器（GPU）应用中，单个HBM模块可节省5W功耗，预计在五年内为运营费用节省高达5.5亿美元。
美光副总裁、计算与网络事业部计算产品事业群总经理Praveen Vaidyanathan指出：“美光第二代HBM3解决方案旨在为客户和行业提供卓越的人工智能和高性能计算选择。我们特别关注产品在客户平台上的集成便捷性。美光HBM3拥有完全可编程的内存内建自测试（MBIST）功能，能够在完全规格的引脚速度下运行，使我们能够提供更强大的测试能力，促进高效协作，帮助客户缩短产品上市时间。”
英伟达超大规模和高性能计算副总裁Ian Buck表示：“生成式AI的核心在于加速计算，而HBM的高带宽对提升能效至关重要。我们与美光在众多产品领域保持了长期合作，非常期待在第二代HBM3产品上继续合作，加速AI创新。”
第二代HBM3的发布标志着美光技术的又一个里程碑。美光此前推出了基于1α（1-alpha）节点的96GB DDR5模组，现又推出基于1β节点的24GB HBM3产品，计划在2024年上半年推出基于1β节点的128GB DDR5模组。这些新产品展示了美光在AI服务器领域的前沿技术创新。
