导语

长音频理解一直有个明显短板：模型可以“听懂”大意，却很难把答案精确落到某一段时间上。GigaChat Audio 这项工作正是针对这一痛点，尝试让音频大模型不仅回答“发生了什么”，还要回答“什么时候发生”。它支持最长 120 分钟输入，并能输出带时间戳的答案、片段描述和摘要。

核心要点

• 时间感知建模：作者把周期性的时间标记嵌入音频流中，与连续音频 token 交错表示，让模型在生成答案时同时学习内容与时间对齐。
• 长上下文能力：模型面向最长两小时录音设计，目标不是只做短片段识别，而是覆盖更长、更复杂的真实音频场景。
• 合成监督训练：论文使用级联式流水线构造大规模合成监督，帮助模型学习时间定位与时间锚定描述。
• 系统消融分析：作者专门比较了时间表示方式、标记频率、tokenization 方案和时长混合设计，分析它们对准确率与计算成本的影响。
• 开源发布：模型权重和数据集已释放，便于后续研究者在同一方向继续验证与扩展。

这项工作的意义

从应用角度看，时间对齐能力会直接影响会议纪要、播客检索、课堂录音整理、客服质检和音频问答等场景。以前很多音频模型只能给出“片段级”或“整段级”的结论，而无法精确定位证据来源；这会限制可解释性，也不利于检索和编辑。GigaChat Audio 的价值在于，它把“时间戳”从后处理附属信息，提升为模型内部需要学习的一部分。

从研究角度看，这篇论文说明：长音频理解的瓶颈，不只是更大的编码器或更多参数，还包括如何设计时间表示、监督信号和训练配比。尤其是“时间标记 + 连续音频 token”的组合，为后续时间感知语音/音频 LLM 提供了一种可复用的思路。若后续工作能在更多真实数据和更复杂噪声环境下验证，这类模型有望成为长音频检索与问答的基础设施。

来源链接： Hugging Face Daily Papers