PolyRoute：一项检验多语言与混合语路由能力的新基准

导语

多语言文本分类常被简化为“把英文模型换成多语言模型”，但在真实客服系统中，输入往往同时包含方言、罗马化拼写、英语夹杂词和非标准表达。论文《PolyRoute》试图把这些情况放进同一套可复现的测试框架，用一个三分类部门路由任务，比较不同类型模型在跨语言输入上的表现。

核心要点

• 覆盖多语言与混合语场景。 数据集包含322条来自12种语言、9种文字系统的原生语言客服消息，另有156条代码混合或罗马化消息，覆盖Hinglish、Spanglish和Arabizi等形式。
• 任务聚焦“类型化决策”。 系统需要在一次前向计算中，根据文本判断其应转交的部门。除测试数据外，研究还提供967条可选的原生语言训练样本，方便比较零样本、现成模型和微调方案。
• 标签经过双重模型检查。 标签首先由Qwen3.8-27B生成，再进行盲检，最终保留91%的候选标签。另一个独立模型gemma4-31b与其在测试项目上的一致率为97.2%。
• 传统基线非常有竞争力。 英文根模型得分为61.2%，随附的多语言模型为77.3%，最佳微调系统达到96.6%。值得注意的是，TF-IDF加逻辑回归达到91.9%，明显高于随附多语言编码器。
• 跨语言表现并非均匀提升。 在四种未公开语言上，三个多语言系统的成绩分别为77%、90%和93%。代码混合文本中，英文根模型为85%，随附多语言模型为79%；但统计检验并未确认这一差异显著，数据划分大约只能分辨超过4个百分点的差距。

这项工作意味着什么

PolyRoute的价值首先在于把评测重点从“模型是否支持某种语言”推进到“模型能否在语言变化下稳定完成固定决策”。对于客服分流、内容审核和内部工单分派，这类封闭标签任务通常不需要生成长答案，却非常依赖模型对拼写变化、文字系统和语言混用的鲁棒性。

结果也提醒开发者，不应仅凭“多语言”标签判断模型适合生产部署。TF-IDF在该数据集上的高分说明，词面线索、类别措辞和数据构造方式可能已经足以解决相当一部分任务；复杂编码器若没有针对目标语言和领域进行适配，未必能自动取得优势。与此同时，代码混合场景的结果不能简单解读为英文模型更强，因为样本规模有限，报告的差异尚未达到可靠区分标准。

更重要的限制来自数据来源：所有文本和标签均由大语言模型生成。这样的设置便于控制语言覆盖和标签一致性，却可能低估真实客服消息中的错别字、上下文缺失、地方表达与业务噪声。因此，PolyRoute更适合作为模型筛选和方法对比的起点，而不是对实际路由准确率的最终承诺。后续若加入人工撰写、真实脱敏工单和更细的置信度评测，其结论会更接近部署需求。

来源：Hugging Face Daily Papers