GigaSpeech 3：用弱标注数据扩展多方言阿拉伯语语音识别

导语

阿拉伯语语音识别的难点并不只是语言本身复杂，更在于不同地区的口语方言长期缺少规模足够、标注一致的训练数据。现代标准阿拉伯语拥有较多资源，但阿尔及利亚、埃及、伊拉克、沙特和叙利亚等方言在真实语音场景中更常见，却难以依靠传统人工转写快速扩展。

GigaSpeech 3 试图解决这一矛盾：从少量高质量标注出发，利用网络音频和自动转写构建大规模弱标注语料。

核心方法与结果

• 覆盖五种方言。 数据涉及阿尔及利亚、埃及、伊拉克、沙特和叙利亚阿拉伯语，研究语料约 3.9 万小时，包含约 1000 万个语音片段。
• 以少量人工标注启动。 每种方言只从约 51—63 小时人工转写开始，先训练方言匹配的标注模型，再将其应用于相应的网络音频。
• 结合针对语音识别的自监督学习。 研究并非简单依赖通用预训练表示，而是使用偏向语音识别任务的自监督学习来增强自动标注能力。
• 通过数据筛选和迭代降低噪声。 沙特和叙利亚阿拉伯语进一步进行了四轮 noisy-student 优化，使模型预测与新增训练数据形成循环改进。
• 方言专用模型表现突出。 在 GigaSpeechBench 上，最终模型在五种方言中都超过各自的标注模型，宏平均词错误率为 23.86%，相较覆盖五种方言的最强第三方系统相对降低 16.6%，并在其中三种方言上超过最佳第三方结果。
• 多方言模型兼顾标准语。 通过使用模型自预测的方言身份训练多方言系统，模型取得 25.51% 的宏平均词错误率，同时支持现代标准阿拉伯语。

意义与影响

GigaSpeech 3 的价值不只在于数据规模，更在于它展示了一条适用于低资源语音的扩展路径：人工标注负责提供可靠起点，自动标注负责扩大覆盖范围，数据筛选和多轮自训练则用于控制噪声累积。这种流程可以缓解“没有数据就无法训练、没有模型就无法标注”的循环困境。

研究还进行了跨域验证。在来自三个外部语料库的八种测试条件下，使用 GigaSpeech 3 训练的 Zipformer 在六个模型中均取得最低词错误率；将 Qwen3 语音识别器基于该语料进行适配后，八种条件的表现也全部提升。需要注意的是，弱标注语料仍然依赖数据来源、筛选策略和评测集质量，结果不能简单等同于人工精标数据的效果。但从工程实践看，这项工作为方言语音助手、转写服务以及多方言语音模型提供了重要的数据基础。

来源：Hugging Face Daily Papers