NVIDIA 推出 Nemotron 3.5：可提示、可适配的多语种语音模型

导语

语音识别的难点并不只是“把声音变成文字”。会议记录还需要区分说话人，跨国通话需要翻译，医疗场景则要求准确识别专业词汇。NVIDIA 发布的 Nemotron 3.5 Transcribe，试图用一个开放权重模型覆盖这些任务，并通过自然语言提示让同一段音频产生不同结果。

核心能力

• 多任务合一：模型支持语音转写、说话人归属、翻译和音频问答。它可转写 40 种语言，其中 31 种语言支持与英语互译；说话人归属覆盖 13 种语言。
• 面向长音频和多人对话：模型可处理最长约一小时的录音，并标注最多八名说话人。其声学特征会与说话人线索一起送入语言模型，使模型能够在生成过程中标记发言者，而不完全依赖后处理。
• 用提示控制输出：开发者可以要求模型“转写并标注说话人”“翻译成英语”，也可以直接询问会议作出的决定。针对陌生术语，提示词可以提供候选词，同时要求模型只在音频确实支持时使用这些词。
• 可进一步适配：Granary v2 提供多语种数据和可复用的数据整理流程，NeMo Speech 则提供微调工具。NVIDIA 给出的医疗案例显示，针对领域数据训练后，留出说话人上的词错误率相较最佳提示结果降低了 45.8%。

评测表现与限制

根据文章引用的多个评测，Nemotron 3.5 Transcribe 在 Hugging Face Open ASR Leaderboard 的英语开放权重模型比较中取得 5.33% 平均词错误率，在多语种和长音频比较中分别为 4.62% 和 10.98%。Artificial Analysis 报告其 AA-WER 为 2.8%，约有 30B 总参数、每个 token 激活约 4B 参数，采用混合 Mamba-Transformer 的专家混合语言模型。

说话人识别方面，文章称其在 David AI 的 21 语言测试中取得最低的说话人错误率，在 VoiceArena 的 14 个系统比较中排名第一。不过，不同榜单的测试集、指标和参评系统并不相同，结果不能简单视为所有真实场景中的全面领先。模型卡也提醒用户，应人工核对姓名、说话人切换以及音频问答答案。

意义与影响

Nemotron 3.5 的价值在于把“识别什么”和“如何输出”连接起来：应用方可以先用提示词快速适配，只有在专业词汇、口音或固定书写规范要求更高时，再利用 Granary v2 和微调流程训练模型。这降低了从通用语音识别到行业系统的试错成本。

模型已在 Hugging Face 和 ModelScope 提供，量化版本计划支持在本地设备上运行，同时也可部署到数据中心 GPU。对课堂回放、会议分析、跨语言沟通和医疗记录等场景而言，这种兼顾多任务、提示控制和可训练适配的设计，比单一转写接口更接近完整的语音应用基础设施。

来源：Hugging Face Blog