互联网资讯

两款面向大规模 AI 计算的 IPU 产品发布

2024年4月7日 · admin
openmagic ad

两款面向大规模 AI 计算的 IPU 产品发布,旨在提升超大规模模型训练和推理能力。

近日宣布推出的新一代 IPU-POD128 与 IPU-POD256,分别提供 32 petaFLOPS 和 64 petaFLOPS 的 AI 计算性能。这两款产品是迄今为止该系列中的最大规格,标志着在超大规模计算领域的升级与扩展。

IPU-POD16 和 IPU-POD64 将继续作为探索与初始部署的选项,而 IPU-POD128 与 IPU-POD256 则可帮助企业在系统范围内实现更快的模型训练和生产推理,并通过将系统划分为更小的可管理单元,实现对多种 AI 工作负载的灵活调度与优化。

在设计层面,这些系统支持将大规模系统拆分为更小的 vPOD,便于为不同开发者提供访问,并在云端或通过合作渠道进行部署。对于需要在云端部署和本地部署之间实现高效切换的场景,这些产品也可提供更高的性价比与更低的总体拥有成本。

广泛使用的语言与视觉模型实验表明,IPU-POD128 与 IPU-POD256 在训练与扩展性方面表现优异,随着软件生态的持续优化,未来还将进一步提升性能。

将计算能力扩展至 IPU-POD128 与 IPU-POD256 需要综合的硬件与软件使能支持。相关合作伙伴将共同帮助全球客户部署这两款设备,客户可通过云端服务或合作渠道获取所需部署方案。

的一位高管表示,与现有产品组合的无缝集成将使客户在更广泛领域快速探索和部署更大规模的、创新性的 AI 模型。