TOME-Math、大学数学教科書を構造化された証明教師データへ

導入

言語モデル向けの数学データは、問題と解答のペアとして整理されることが多い。この形式は扱いやすい一方で、数学を学ぶうえで重要な情報を切り落としやすい。ある命題がどの定義や補題に依存するのか、証明がどの中間目標に分かれるのか、そして教科書がどのように基礎から高度な内容へ進むのか、といった構造である。TOME-Math は、大学数学の教科書を単なるテキストではなく、構造を持つ証明教師データの供給源として扱う。

主なポイント

• 規模：2,118 冊の大学レベル数学教科書から、約 38 万件の構造化された証明教師データを構築した。
• 学習順序の保持：各記録を独立した例として混ぜるのではなく、章の進行を残している。
• 証拠構造の保持：命題と証明の対応、依存関係、中間的な証明義務、出典情報を記録する。
• カリキュラム学習の検証：複数の数学分野で、教科書の構造信号を利用した学習を調べる。
• スケーリング分析：教師データの量と出典の広がりが性能にどう影響するかを分析する。
• 報告された結果：全規模で微調整したモデルは、留保評価と既存の公開ベンチマークの未加重平均で基盤モデルを 16.7 ポイント上回った。また、比較対象となった三つの公開指示データ基準を総合的に上回った。

教科書の構造が重要な理由

証明は、問題に対する単独の答えではない。教科書では、定義から補題、補題から命題へと知識が積み上がり、過去の結果が次の証明の道具になる。すべての記録を無関係な例としてシャッフルすると、局所的な文章パターンは学習できても、何を前提にして推論すべきかという依存関係は見えにくくなる。TOME-Math は、この関係の一部を訓練中に利用できる形にする。

この取り組みは、データ量とデータの並べ方を切り分けて研究する枠組みにもなる。監督内容が似ていても、章の順序や依存情報を残した場合と、完全に平坦化した場合で結果が異なるなら、構造そのものの効果を検討できる。ただし、公開された概要だけから、16.7 ポイントの改善がカリキュラム順序だけによるものだとは言えない。教師データ量、出典の多様性、構造化処理が同時に寄与した可能性がある。

意義と課題

TOME-Math が示すのは、数学教師データの拡大が、孤立した練習問題を増やすことだけに依存しないという点だ。教科書には概念ネットワーク、証明の手順、難易度の進行がすでに含まれている。これを機械可読な記録へ変換すれば、正答の数だけでなく、証明の根拠や依存関係を重視する学習を研究できる。

一方、現時点の資料には、分野別・ベンチマーク別・カリキュラム戦略別の詳細結果は示されていない。また、データセットは公開予定であり、まだ提供済みとは限らない。再現性を判断するには、最終データ、ライセンス、品質管理、文書化の確認が必要である。未知の数学課題や異なるモデルでも効果が続くかは、今後の検証課題となる。

出典：Hugging Face Daily Papers