低資源言語の推論：SFTが変えるもの、RLが直すもの

導入

低資源言語で推論できるモデルを作る際、最終的な正答率だけを見ていては、重要な変化を見落とす可能性がある。ギリシャ語を対象にした研究では、モデルがユーザーの読める言語で推論するか、指定された形式を守るか、指示に応じて推論言語を切り替えられるかが、正解数とは別の評価軸として示された。

研究チームは、有効パラメータ数が約3.6B〜4.0Bの複数のMixture-of-Expertsモデルを対象に、教師あり微調整（SFT）と検証可能な報酬による強化学習（RLVR）を比較した。また、行動指標が単に出力の長さを測っていないかを確認するため、対照条件も設けている。

主な発見

• 正答率は大きなノイズに埋もれた。 ベンチマーク上の正答率はほとんど変わらなかったが、乱数シードだけを変更すると7.7ポイント動いた。この変動は、測定されたデータや学習レシピの効果をすべて上回った。
• ベースモデルはギリシャ語で推論しなかった。 ギリシャ語の問題であっても、調査した1,000本の推論トレースにギリシャ語は一度も現れなかった。答えが正しくても、ユーザーは推論を読んだり監査したり、誤りを指摘したりできない。
• SFTは見える推論習慣を変えた。 微調整後のチェックポイントは、約98％の項目で問題と同じ言語を使って推論した。あるモデル系列では、必要なトークン数も3分の1になった。4つのモデル系列すべてで文法性が向上し、一般能力はベースモデルから数ポイント以内に収まった。
• SFTだけでは対話上の欠陥が残った。 約4分の1の回答が要求された形式を守らず、一部では答えが推論チャネルに漏れた。英語で考えるという明示的な指示への従属率も半分未満だった。流暢さとプロトコル遵守は別の能力である。
• RLVRは検証可能な行動を修正した。 事前登録された実験では、形式のフォールバックが24％から2.5％へ、推論チャネルへの漏洩が3.5％から0％へ低下した。英語で考える指示への遵守率も9.1ポイント上昇した。一方、正答率だけを改善する学習信号は、ギリシャ語で推論する習慣を変えなかった。

意義と影響

多言語推論の評価では、正解かどうかに加えて、指定言語で推論するか、文法的に自然か、出力形式を守るか、答えと推論のチャネルを分離できるか、言語切り替えの指示に従えるかを測る必要がある。

同時に、評価指標そのものへの警戒も必要だ。研究者は、自分たちの測定器が誤った結論を出した6つの事例を報告し、対照実験でそれぞれを検出した。出力が長くなっただけで高くなる指標は、推論能力の証拠にはならない。今後は正答率だけでなく、出力長の統制、シードによる変動、一般能力の維持、指示遵守を併せて報告すべきだ。

ギリシャ語は結論そのものではなく、測定しやすいケーススタディである。ほかの低資源言語でも、SFTが「正しい言語で表現する」層を担い、RLが「ルールに従って振る舞う」層を補うという分業が、読みやすく監査可能な推論システムにつながる。

出典：Hugging Face Daily Papers