摩尔线程完成 Kimi K3.1 Pro 首日适配:MTT S5000 打通文本与图片推理
据 IT之家 11 月 6 日报道,摩尔线程宣布,基于 AI 训推一体智算卡 MTT S5000 与 MUSA 软件栈,已完成 3 万亿级参数模型 Kimi K3.1 Pro 的 Day-0 适配,打通模型加载、服务启动以及文本、图片基础推理链路。月之暗面于本月 4 日公布该模型完整权重,此次适配意味着国产 GPU 平台在新一代超大规模开放权重模型落地上取得进展。
从开放权重到推理服务,适配覆盖哪些环节?
Kimi K3.1 Pro 是 K3.1 系列首款模型,支持 100 万上下文。据来源介绍,模型经过大规模后训练和强化学习,在代码、3D 创作、金融研究、知识问答和长程 Agent 任务等方向获得提升。在 Agent Arena 排行榜中,Kimi K3.1 Pro(Max)位列开放权重模型第一、全部参评模型第 13 位,并在工作、编程和聊天三个类别中居开放模型首位。
摩尔线程此次公布的核心成果,是让模型能够在 MTT S5000 上完成实际推理流程。这不只是加载权重,还包括服务启动及文本、图片输入对应的计算链路。据官方介绍,团队以 SGLang-MUSA 承接上游模型实现,结合 MATE 算子库、Triton-MUSA、TileLang-MUSA 和 MTCC 编译器,迁移并接入新架构的关键计算路径。
- 框架与运行层:MUSA 覆盖框架执行、算子编译、设备运行及多卡通信,支持复用已有接口。
- 注意力计算:针对稀疏注意力 DSA,完成索引选择、KV 缓存布局,以及 Prefill 和 Decode 阶段的路径适配。
- 视觉与状态管理:结合 KDA 状态管理、跨层残差和视觉 Attention,形成完整执行链路。
- 专家权重处理:针对 MXFP4 专家权重,采用在线转换及跨层复用 FP8 工作区的方式执行计算,无需预先生成完整离线 FP8 权重。
产业解读:首日支持考验的是软件栈响应能力
对国产 AI 硬件而言,能否快速接入社区新模型,直接关系到开发者迁移和部署的便利程度。大模型架构持续变化,适配工作不仅涉及算力,还涉及注意力机制、缓存管理、低精度权重处理及服务框架协同。此次进展的主要看点,是 MUSA 软件栈对新模型关键路径的迁移能力。如果接口与工具链能够持续复用,后续模型接入就有机会减少重复开发。
在线处理 MXFP4 专家权重,也体现了超大模型部署中的工程取舍:不提前生成完整离线 FP8 权重,有助于简化部署准备流程。但其实际收益仍需结合具体硬件配置、任务负载和运行数据判断。
基础推理链路打通,不等于完整生产性能已经得到验证。目前来源未披露此次部署的卡数、吞吐量、首字延迟、显存占用和能耗数据,也未给出在 MTT S5000 上运行完整 Agent 工作流的测试结果。因此,更适合将其视为国产算力生态跟进前沿开放模型的一次工程进展;面向企业应用是否具备足够的效率与成本优势,仍有待后续实测。