多言語データの混合で、モデルは入力言語のまま推論できるか

導入

多言語モデルは日本語や中国語などの質問を理解できても、推論の途中では英語に切り替え、最後だけ入力言語に戻ることがある。最終回答が正しければ見逃されやすいが、この挙動は会話として不自然であり、質問の細かな意図や、対象言語・文化の中で表現しやすい知識を取りこぼす可能性がある。

Cohere Labs の研究は、この課題を L2 reasoning、つまりプロンプトで使われた言語に沿って一貫して推論する能力として扱う。主な焦点は巨大なモデルを作ることではなく、教師あり微調整（SFT）でどの種類のデータを、どのような比率と順序で混ぜるかである。各言語に大量の推論データが必要なのか、それとも多言語データの設計によって推論行動を移転できるのかを調べている。

主要ポイント

• 3.35B パラメータの検証：Tiny Aya L2-Thinker を構築し、数学、常識推論、指示追従、自由生成、文化的推論など、六つの領域を含むベンチマークで評価した。
• 60言語での言語内推論：概要では、60言語にわたり93%以上の言語内推論率を達成したと説明されている。これは正解率だけでなく、推論がプロンプトの言語で行われるかも見る指標である。
• 広い言語カバレッジ：すべての言語に完全な推論教師データを複製するより、学習データが多くの言語を含むことが重要だと示された。
• 非推論データの役割：通常の多言語テキストも、言語表現の習得やタスクへの適応を支える。推論形式のデータだけが有効というわけではない。
• 英語の推論能力も活用：英語推論データを排除するのではなく、十分に強い英語の推論基盤を多言語データと組み合わせることで、異なる言語へ推論行動を移転できる可能性がある。
• 未学習言語への拡張：適切なデータ混合により、推論教師データに直接含まれない言語にも能力が一般化する可能性が示されている。

意義と限界

この研究は、「言語ごとに大規模な思考連鎖データを用意する」という従来の発想に対する、より現実的な選択肢を提示する。推論そのものには言語をまたいで移転できる部分があり、対象言語で自然に表現する力は、多言語の通常テキストと適切な推論データの組み合わせから育てられるという見方だ。

この方法は、ラベル付きデータが少ない言語へ推論モデルを広げるコストを抑える可能性がある。同時に、モデル規模だけでなく、どの言語を含めるか、非推論データをどの程度入れるか、学習のどの段階で混ぜるかが重要になる。

ただし、93%以上という数値は慎重に読む必要がある。言語内推論率は、事実の正確さ、文化的な適切さ、各言語の総合性能と同じ指標ではない。提供された資料には言語別の詳細な結果がないため、すべての言語で同等の品質が得られたとまでは判断できない。

研究チームは Tiny Aya L2-Thinker と Tiny Aya En-Thinker の重み、さらに44言語を含む多言語推論データを公開している。これにより、データ混合の効果を再現し、低資源言語で検証するための土台が整えられた。

出典：Hugging Face Daily Papers