寒武纪完成 SenseNova Loop-9B 首日适配,MLU 打通循环架构与多模态推理
据 IT之家 11 月 18 日报道,商汤科技于前一日晚间发布日日新 SenseNova Loop-9B 模型,寒武纪随后宣布完成该模型的 Day 0 适配,基于 vllm_mlu 打通其在 MLU 平台上的推理链路。此次适配覆盖循环层执行、核心算子替换与 mHC 路由优化,同时支持文本和图像输入,为这一新型循环计算架构提供了国产硬件平台上的运行支持。
用共享参数增加计算深度,如何接入现有推理框架?
SenseNova Loop-9B 的特点并非单纯扩大参数量,而是通过 Loop 结构重复执行共享的中间层,并结合流形约束超连接(mHC),在有限参数规模下增加计算深度。来源显示,该模型约有 9B 参数,将 32 个物理解码层扩展为 56 次层计算,面向复杂推理、代码、工具调用及多模态任务,探索 Agent、代码和数据分析场景的能力提升。
为兼容 vLLM 既有的执行和调度机制,寒武纪采用静态展开、权重共享的方案:把循环计算转换成 56 个顺序执行的层,不同执行槽位中的循环层仍使用同一份权重存储。这样既可复用标准调度与 KV cache 机制,也避免因展开执行而复制模型权重。官方称,该实现的显存占用与 32 层模型相同。
据模型官方介绍,SenseNova Loop-9B 经 4bit 量化后的权重约为 4.9GB,部署显存需求可低至 10GB 内。不过,这一部署指标不宜直接理解为所有输入长度、并发配置和运行环境下都能达到相同占用,实际使用仍需结合具体配置评估。
三项适配重点:从算子复用到路由融合
- 循环层执行:以静态展开承接 Loop 结构,让新增的计算路径接入现有推理框架,而不是重新设计整套调度流程。
- 核心与视觉算子复用:Attention、Linear Attention 和 MLP 等模块采用 vllm_mlu 已有的 Qwen3-Next 系列 MLU 算子;视觉部分复用 Qwen3.5-VL 的视觉编码器实现及多模态 Processor,支持图像处理与视觉特征提取。
- mHC 路由优化:通过 TMO 融合接口处理归一化计算,并使用 CNAgent Triton Skill 自动生成融合算子,将 Sinkhorn 计算整合到单个 Triton Kernel,减少多次内核启动带来的调度开销。
影响解读:首日适配体现的是软件栈承接能力
此次进展的意义,在于国产加速平台能够较快承接不同于常规堆叠方式的模型结构。循环计算虽然有助于控制参数存储规模,却仍需完成更多层计算;因此,权重更小不等于推理必然更快,执行调度、缓存管理和细粒度算子效率同样关键。
对关注本地部署、私有化应用的开发者而言,这次适配提供了 MLU 平台上的技术路径,也体现出现有算子库和多模态组件复用的价值。但来源未披露具体吞吐、时延或对比测试结果,目前更适合将其理解为推理链路与关键优化已经落地,而非性能优势已获验证。后续仍需通过真实业务测试,判断其在 Agent、代码和数据分析任务中的部署收益。