PolyRoute、多言語・コードミックスの振り分け能力を評価

概要

多言語モデルは、多くの言語を扱えること自体が強みとして語られます。しかし、実際のサポート窓口では、ローマ字表記、綴りの揺れ、英語との混在、地域特有の表現が同時に現れます。論文「PolyRoute」は、こうした条件でモデルが安定して問い合わせを振り分けられるかを、三つの部署から選ぶ固定タスクで比較します。

ベンチマークの構成

PolyRouteには、12言語・9種類の文字体系による母語のサポートメッセージ322件が収録されています。さらに、Hinglish、Spanglish、Arabiziなど、コードミックスまたはローマ字化されたメッセージ156件も含まれます。モデルは入力文を一度の前向き計算で処理し、適切な部署を判定します。教師あり適応を行うための母語データとして、任意で利用できる967件の訓練例も提供されています。

ラベルはQwen3.8-27Bで作成された後、盲検による二度目の確認を受け、候補の91%が残されました。独立したgemma4-31bとの一致率はテスト項目で97.2%でした。また、テスト文と訓練文の間で最大の文字5-gram類似度は0.33と報告されており、単純な重複に依存した分割ではないことを示す材料になっています。

主な結果

結果で特に目を引くのは、従来型のベースラインです。英語ベースのチェックポイントは61.2%、提供された多言語チェックポイントは77.3%、最良の微調整システムは96.6%でした。一方、TF-IDFとロジスティック回帰の組み合わせは91.9%に達し、既製の多言語エンコーダーを大きく上回りました。

言語別の改善も一様ではありません。未公開の4言語では、三つの多言語システムが77%、90%、93%を記録しました。コードミックス入力では、英語ベースが85%、提供版の多言語モデルが79%でした。ただし、この差のp値は0.134であり、統計的に確かな優位性とはいえません。今回の分割で識別できる差も、およそ4ポイントを超える場合に限られます。

意義と限界

PolyRouteの意義は、「多言語対応」という広い宣伝文句を、固定された意思決定タスクで検証できる点にあります。問い合わせの部署振り分け、審査キュー、社内チケットの分類では、長文を生成する能力よりも、入力の揺れに対して一貫した判断を返す能力が重要です。

同時に、TF-IDFの高いスコアは実務上の注意点を示します。管理されたデータでは単語や定型表現だけで高精度を得られる可能性があり、複雑な多言語エンコーダーを採用する前に軽量な基線を試すべきです。一方、微調整で96.6%に到達した結果は、対象言語に合ったラベル付きデータがあれば適応の効果が大きいことも示しています。

ただし、すべてのテキストとラベルはLLMによって生成されています。そのため、実際の問い合わせに含まれる誤字、文脈不足、地域表現、業務上のノイズを十分に再現していない可能性があります。PolyRouteは本番精度を保証するものではなく、モデル比較の再現可能な出発点と捉えるのが適切です。今後は、人手作成データや匿名化された実データでの検証が求められます。

出典：Hugging Face Daily Papers