先听见之前先解码：推测式监听让全双工语音模型更快响应

导语

实时语音交互的瓶颈不只在语音识别，也在模型何时开始生成回答。许多全双工语音语言模型会把对话切成固定时长的音频块，按“监听—生成—监听”的节奏推进。问题是，监听时模型常常只能等待下一段音频，而真正需要输出回答或调用工具时，又要逐个生成大量标记，导致响应落后于实时对话。

香港中文大学（深圳）团队提出的 Speculative Listening（推测式监听），试图把这两段时间重新利用起来：模型在等待音频期间，先基于“下一段是静音”的假设生成候选答案；真实音频到达后，再检查这些候选是否仍然成立。

核心观察与方法

研究者在4个模型上比较了静音假设与真实音频带来的输出差异，得到两个关键观察：

• 95.3%的音频块不会改变模型输出；
• 在发生变化的样本中，88%的变化从第一个输出标记就开始出现。

这意味着，下一段声音虽然可能改变结果，但多数时候并不会改变；而少数变化通常很早就能暴露。方法因此在监听阶段先进行一次草稿解码。如果首个标记存在分歧，还会从概率排名第二的候选继续建立另一条分支。所有草稿会被放入跨音频块的假设池，等真实音频到达后统一验证。验证通过的部分可以直接复用，只有不匹配的部分需要重新生成。

该框架的特点是无需额外训练，并以验证过程保证最终输出与真实输入下的结果一致。它不是让模型“猜得更大胆”，而是把原本闲置的计算提前执行，再通过真实输入进行校正。

效果与意义

在研究团队构建的8项任务基准 TickTock-Bench 上，推测式监听使说话块的处理速度提升2.6至2.8倍，工具调用块最高提升23.4倍。响应开始前的解码延迟平均降低73%，降至74至241毫秒，接近人类对话中约200毫秒的轮替间隔；模型相对实时进度的最大滞后则减少94.4%。

更重要的是，这项工作把全双工语音模型的优化重点从“继续扩大模型”转向“重新安排计算”。对于语音助手、实时翻译和需要频繁调用工具的代理系统，监听阶段的空闲算力可能成为降低延迟的直接资源。当然，方法的收益依赖于分块策略、模型行为以及静音假设的稳定性，实际部署仍需关注候选分支带来的内存和验证开销。

如果这一思路能够适配更多语音模型，实时交互系统或许不必等待“听完再想”，而可以在听的同时准备回答。

来源：Hugging Face Daily Papers