商汤发布 SenseNova Loop-9B:复用模型层提升推理能力,部分部署显存低于 10GB
据 IT之家 11 月 17 日报道,商汤科技当晚正式发布 SenseNova Loop-9B,并开放模型权重与相关代码。新模型延续 Preview 版本对参数效率的探索,通过循环复用模型层,在约 9B 参数规模下增加计算深度,面向复杂推理、代码、工具调用及多模态任务。官方同步提供 AWQ 4bit 量化版本,量化后权重约 4.9GB,部分部署场景的显存需求可控制在 10GB 以内。
9B 参数如何增加计算深度?核心是共享循环模块
SenseNova Loop-9B 的思路不是单纯扩大参数量,而是让部分参数在一次前向传播中重复参与计算。模型拥有 32 个物理解码层,其中第 4 至第 27 层构成共享权重的循环模块,通过执行两次,将整个模型的解码器层计算次数扩展到 56 次。
这意味着,参数规模与实际计算深度不再简单对应。同一组中间层被重复使用,可以在不同比例增加权重存储需求的情况下,为推理过程提供更多计算步骤。不过,参数复用并不等于计算免费,实际响应速度与吞吐表现仍需结合部署硬件、推理框架和任务测试判断。
- 双流 mHC:结合流形约束超连接,通过可学习映射,对循环模块内的两条残差流进行信息路由与融合。
- 混合注意力:解码器以四层为一组,采用三层线性注意力与一层全注意力的配置。
- 多模态与长上下文:支持文本、图像输入和文本输出,上下文长度最高可达 512K tokens。
- 训练任务覆盖:包括文本、图像、代码及工具调用轨迹,面向 Agent 等应用需求。
低于 10GB 并非所有场景,长上下文仍需更多显存
对本地部署用户而言,官方量化版本是此次发布的重要看点。4bit 量化将权重体积压缩至约 4.9GB,有助于扩大可部署硬件的范围,也省去了开发者自行制作量化版本的部分准备工作。
但需要区分权重大小、部署显存与长上下文显存。来源同时给出另一项配置:采用 4bit 权重量化与 8bit KV 缓存时,256K 长上下文推理的显存需求约为 15 GiB。因此,“10GB 以内”不能直接理解为满长上下文下也能达到的显存水平。实际选型还要考虑输入长度、并发量及运行时开销。
影响与解读:小参数模型向 Agent 和数据分析推进
官方评测显示,正式版在通用 Agent、代码和数据分析等任务上的多个榜单表现较 Preview 版本提升。其中,NL2Repo 得分为 41.36,接近 Qwen3.8-27B 的 44.60;AIDABench 得分为 65.31,略高于后者的 65.01。
这些结果说明,Loop-9B 在所列任务中具有竞争力,但局部评测接近不等于所有能力全面等同于 27B 模型。对于中文开发者,更值得关注的是它能否在自己的代码仓库、数据分析流程和工具调用链中稳定完成任务。
从产业角度看,此次发布体现了模型优化的一条路径:通过结构设计提高参数利用效率,再结合量化降低部署门槛。权重与代码的开放,为开发者验证这一路线提供了条件;其实际价值,仍取决于具体业务中的准确率、延迟与资源消耗能否取得平衡。