Confucius4-R2T2：让流式语音识别告别反复改稿

导语

流式语音识别的难点，不只是“尽快输出”，还在于输出之后能否保持不变。传统系统往往会随着更多语音到来，反复修改已经显示的词语或句子。对人类阅读来说，这只是界面上的小幅跳动；但对语音代理、机器翻译和自动化工作流而言，一次回改可能意味着已经执行的动作需要撤销，或计算资源被重复消耗。

网易有道推出的 Confucius4-R2T2，针对的正是这一问题。该模型的目标不是简单地提前猜测更多文本，而是只输出当前已经足够稳定的内容，让下游系统可以放心消费。

核心方法：最长稳定前缀

R2T2 的关键概念是 Longest Stable Prefix（LSP，最长稳定前缀）。在不断增长的音频输入下，模型会寻找一个最长的文本前缀：它已经与某次完整输出保持一致，并且不会因为后续音频到来而被推翻。随着更多语音被输入，这个前缀只能保持或继续增长，而不会缩短或改写。

这一设计带来几个特点：

• 追加式输出：已经发出的文本不会被修改，历史结果形成稳定前缀。
• 面向机器消费：翻译器、语音代理等系统可在文本出现时立即处理，而不必等待识别结果“定稿”。
• 无需改变架构：LSP 被用作后训练标签，原有模型可以通过学习新的监督方式获得稳定流式能力。
• 可调节流式粒度：实现支持配置音频 chunk 大小，在响应速度与识别上下文之间进行取舍。

训练与表现

R2T2 建立在 Qwen3-ASR-1.7B 之上，通过 1500 小时中文和英文音频进行后训练。训练过程中，预训练的音频编码器和投影器保持冻结，重点让模型学习在部分音频输入下应当提前确认哪些内容。

论文报告称，R2T2 的流式识别质量接近基础模型的全上下文表现，同时具备较低的输出延迟。更值得注意的是，相关收益并不局限于后训练覆盖的语言，模型还展现出跨语言泛化潜力。不过，素材没有提供具体的词错误率、延迟或不同 chunk 设置下的量化对比，因此其优势仍应结合完整论文和实际部署测试评估。

意义与影响

R2T2 的价值在于提供了一条相对务实的迁移路径：不必重新设计流式 ASR 的网络结构，也不必接受“低延迟必然牺牲稳定性”的默认取舍，而是从标签定义和后训练目标入手，把全上下文模型转化为稳定前缀模型。对于需要实时触发动作的语音应用，这种 append-only 输出比不断修正的中间结果更容易接入，也更有利于控制系统复杂度。

模型权重、代码和在线演示已经公开，研究者与开发者可以进一步验证其在不同语言、噪声环境和实时交互场景中的表现。

来源：Hugging Face Daily Papers