首个基于昇腾端侧训练的1.58-bit大模型发布

5月25日，面向端侧的大模型 BitCPM-CANN 正式对外发布并开源，联合方包括清华大学与 OpenBM。此次发布标志着在华为昇腾平台上实现端到端训练的三值大模型进入公开阶段。

此次公开是在5月23日于昇腾开发者大会上的首次演示基础上，BitCPM-CANN 全系列模型正式开放下载与使用。

据介绍，BitCPM-CANN 在推理阶段相较 BF16 精度，能够带来约6倍的存储优势，同时保持90%至97.2%的能力水平。这意味着在同等设备条件下，可以部署更大规模的模型，或在相同终端上以更低存储开销运行同一模型，未来有望在手机端实现对60B参数规模模型的支撑，提升移动端的智能化水平。

“2-bit”量化近年成为端侧芯片领域的一个研究热点，被视为在手机上承载更大模型的重要瓶颈。通过将权重压缩6到8倍，2-bit 技术有助于将模型参数落地到手机存储。例如，在仅4GB存储条件下，可以容纳较大规模模型，结合模型专家的门控与激活范围约束后，容量可扩展至更高上限；若内存提升至8GB，理论上可覆盖更大规模的模型。

相关团队表示其在端侧大模型领域取得的技术进展不仅有助于本地落地，也通过开源为国内端侧模型的发展带来新的活力。