蚂蚁百灵开源 Ling-3.1-flash：支持 1M 上下文，量化部署测试降至 4 卡

据 IT之家 10 月 16 日报道，蚂蚁百灵于前一日宣布开源 Ling-3.1-flash 模型。该模型总参数约 560B，每个 Token 激活约 25B，最高支持 1M 上下文，并已提供 Hugging Face 和 ModelScope 开源入口。此次开源的看点不仅是长上下文能力，还包括降低权重占用、优化推理响应，以及加强业务工具对接。

从模型规模到部署：量化降低显存负担

在 Artificial Analysis 的公开评测中，Ling-3.1-flash 的智能指数为 41，输出速度约为每秒 210 Token。这些指标可作为选型参考，但不能直接代表模型在特定企业资料、工具链或并发条件下的表现。

面向本地部署，团队对 routed experts 使用 MXFP4 量化，dense 层则保持 block-FP8，将权重占用从约 534GB 压缩至 292GB。在对应的 Hopper GPU 测试配置中，服务部署所需 GPU 从 8 卡降至 4 卡。这意味着具备服务器级 GPU 的团队有机会用更少卡数运行模型，但并不意味着任意四卡设备都能复现相同结果。

• 长资料处理：提供 PCP / DCP 长上下文并行推理方案。
• 业务接口对接：加强工具调用对 JSON Schema 的支持，便于适配结构化接口。
• 推理优化：结合算子融合与 DSpark 投机解码，减少推理开销。

响应与吞吐测试，需要结合条件阅读

企业知识问答和办公助手往往需要先读取较长资料，再开始生成答案，因此首 Token 等待时间与后续输出速度同样重要。来源显示，在平均输入约 25.47K Token、输出约 224 Token、缓存命中率为 76% 的模拟生产请求中，8 卡 Hopper 配置的平均首 Token 时间为 604 毫秒，相邻输出 Token 平均间隔为 3.28 毫秒。

另一组面向容量规划的测试采用 4 卡 Hopper 配置，平均输入约 8.5K Token、输出约 800 Token，吞吐达到约 1.36 QPS，同时满足首 Token 时间 P50 小于 3 秒、相邻输出 Token 间隔 P90 小于 70 毫秒的约束。两组测试的输入长度、输出长度和硬件配置不同，不能直接横向比较，更不能据此推定满 1M 上下文时也有相同响应表现。

产业解读：重点是长资料应用能否经济运行

对开发者和企业而言，这次开源的价值在于同时提供长上下文、结构化工具调用和部署优化路径。知识问答、办公助手等应用既需要读取资料，也需要调用已有业务系统；JSON Schema 支持有助于接口适配，但调用准确性仍需实际验证。

在线体验方面，来源称模型目前提供限时 2.5 折优惠，覆盖 OpenRouter 与 Ling Studio。由于摘要未明确价格对应的 Token 计费单位，本文不据此计算使用成本。实际选型时，仍应以业务样本测试回答质量、缓存收益和并发能力，并将权重之外的显存开销纳入预算。更少卡数运行模型是部署门槛的改善，而不是固定成本或服务能力的保证。