腾讯开源混元同传模型 Hy-SimulMT:支持中英实时语音翻译,实测响应约 3 秒
据 IT之家 10 月 26 日报道,腾讯发布并开源混元同声传译大模型 Hy-SimulMT,支持中文与英文之间的实时语音到语音翻译。用户持续输入语音时,模型可以边听边译,同步输出译文和翻译语音,并支持实时音色克隆。该模型已在腾讯 Hy 翻译 App 首发,提供免费体验。根据官方介绍,其实测响应时间约为 3 秒,低于此次介绍中人类专业译员约 4—5 秒的平均水平。
从“听完再翻译”走向边听边输出
Hy-SimulMT 的核心看点,是将持续语音输入、翻译输出和语音生成结合起来。与等待一段话结束后再处理的交互方式相比,同传需要模型在信息尚不完整时判断语义,并决定何时开始输出,因此时延与翻译准确性之间往往存在取舍。
据来源介绍,该模型不仅能够实时生成译文,还可通过音色克隆还原说话人的声音和语气。对跨语言交流而言,这意味着系统尝试保留的不只是文字含义,也包括部分声音表达特征。不过,音色还原并不等于情绪、语境和表达意图都能被完整保留,实际表现仍需结合具体音频判断。
- 语言范围:支持中英之间的实时语音翻译。
- 输出形式:在接收音频的同时输出译文与语音。
- 声音能力:支持实时音色克隆,还原说话人的声音与语气。
- 体验入口:腾讯 Hy 翻译 App 已提供免费服务体验。
官方评测显示低时延优势,结论仍有适用范围
腾讯团队在长音频开源评测集 RealSI 上展示了模型表现。其中,StreamLAAL 用于衡量翻译输出相对输入音频的延迟,数值越低代表等待时间越短;另一维度则评价翻译质量。官方称,Hy-SimulMT 在较低延迟下取得了优于主流开源同传模型、并超过多数商业同传 API 的效果,在短音频测试中也有较好表现。
团队还在合规允许范围内收集了互联网上新出现的中英文音频,覆盖软件 AI、医学、法律、教育等十个领域,以及演讲、访谈、会议等场景,并邀请六位拥有多年实战经验的同传专家参与对照,其中三位持有 CATTI 一级口译证书,三位持有二级证书。
按官方披露的比较方法,人类一侧选取三人中的最高分作为对照。该轮测评中,模型的翻译质量得分达到并高于人类专家对照水平,同时延迟更低。但这仍是特定数据与评测规则下的结果,不能直接推导为模型已在所有场景全面超越专业译员。
产业解读:开源价值在于让同传能力可验证
对开发者和企业而言,Hy-SimulMT 开源的重要性,不仅是增加一个翻译工具,更是为实时语音应用提供了新的验证对象。在线会议、双语访谈和跨语言协作等场景,都需要同时考察准确率、等待时间与听感,单看某一项分数并不足以判断可用性。
此次发布呈现出的趋势是,语音 AI 正从分步处理走向低时延、连续交互。接下来更值得关注的,是模型面对专业术语、口音、噪声及长时间对话时能否保持稳定,以及部署所需的资源成本。对于高风险或正式交流场景,人工复核仍有必要;实时音色克隆的使用,也应重视说话人的授权与知情。