LLMの数学推論で欠けているのは計算より「発見」かもしれない

はじめに

大規模言語モデルは、難しい数学問題にも取り組めるようになっている。しかし、正しい解答を出せることは、数学の構造を本当に理解していることと同じではない。モデルが適切な定理や関係を見つけたのか、それとも学習したパターンを再現しただけなのかは、最終的な正答率だけでは判断しにくい。論文「The Missing Primitive」は、この問題を推論の構成要素に分解して調べている。

数学推論を4つの能力に分解

研究では、問題解決に使われる再利用可能な数学的構造や操作を数学的プリミティブと呼ぶ。この考え方に基づき、PRIMベンチマークは次の4つの側面を評価する。

• Discovery（発見）：必要な定理、関係、解法の構造を見つける能力
• Generation（生成）：見つけた構造を式や推論手順に変換する能力
• Digestion（理解）：既存の導出を読み取り、取り込む能力
• Execution（実行）：計算、変形、その後の推論を正確に進める能力

この分解の意義は、同じ正答率でもモデルの内部的な能力構成が異なり得る点にある。あるモデルは解法を見つけるのが得意でも計算に弱く、別のモデルは与えられた方針に沿った実行に強いかもしれない。研究では、数学的プリミティブを明示すると、モデルが本来持っていた実行能力が大きく表れることも示された。つまり、失敗の一部は計算能力の不足ではなく、正しい構造への入口を見つけられないことに由来する可能性がある。

最大のボトルネックは発見

体系的な診断から、数学推論の主要な制約はDiscoveryだと論じられている。モデルは、必要な公式や定理、中間構造が与えられれば推論を続けられる一方、未知の問題に対してどの構造を適用すべきかを自力で選ぶ場面では不安定になりやすい。

この見方は、思考過程を長くするだけでは数学の失敗を解決できない理由も説明する。出発点となる見立てが誤っていれば、手順を増やしても誤った方向が長く続くだけである。改善には、後続の計算量だけでなく、最初に呼び出すプリミティブの選択が必要になる。

研究はさらに、Discoveryに制限された失敗ほど修復しやすいと分析する。すべての解答を一律に強化するのではなく、モデルが欠いている構造を特定し、その発見と利用を重点的に学習させる方が効率的だという示唆である。

診断から修復へ

この知見をもとに、著者らはABSORBという自己蒸留フレームワークを提案した。数学的プリミティブに導かれた推論を選別し、学生モデルへ移すことで、最終解答だけでなく、どの構造を選ぶべきかも学習させる。

論文によれば、ABSORBは複数のモデル規模と難しい数学ベンチマークで、既存のベースラインより一貫して推論性能を改善した。提示された素材には具体的な数値は含まれていないため、ここでは手法の方向性と診断上の意義を評価するのが適切だろう。

意義と留意点

PRIMは、数学能力を単一の正答率ではなく、構造発見から実行までの連鎖として捉える視点を提供する。開発者は失敗がどの段階で起きたかを調べやすくなり、後学習では能力の不足箇所に合わせた修復を検討できる。

一方、この研究だけで4分類があらゆる数学課題に普遍的だと結論づけることはできない。数学を「本当に理解する」とは何かも、まだ決着していない。価値はむしろ、曖昧な推論能力を測定可能な部品へ分解し、個別に改善する道筋を示した点にある。

出典：Hugging Face Daily Papers