AIMO Interpretability Challenge：数学モデルは本当に推論しているのか

導入

大規模言語モデルは数学問題で高い性能を示すようになっています。しかし、正解を出せたことだけでは、そのモデルが本当に安定した推論を行ったのか、それとも問題文の表面的な手掛かりやデータセット上の偏りを利用しただけなのかは分かりません。arXiv で公開された AIMO Interpretability Challenge は、この問題意識から設計された競技です。

このチャレンジは NeurIPS 2026 の競技として採択されており、AI Mathematical Olympiad（AIMO）の問題や提出データ、さらに Fields Model Initiative のリソースを活用します。狙いは、最終答えの正誤だけではなく、モデル内部の仕組みに基づいて「頑健な推論」と「見かけ上の推論」を区別することです。

主要ポイント

• 正答率から内部メカニズムへ：従来の数学推論ベンチマークは、主に最終回答の正しさを測ってきました。しかし高い正答率は、モデルが汎化可能な推論手続きを使っていることの証明にはなりません。
• オリンピックレベルの問題を利用：競技では、新たに公開される高難度の数学推論問題が提供されます。単純なテンプレート問題ではなく、より構造的な思考を必要とする設定です。
• 記号表現による変種生成：問題には記号的な表現が付与され、機能的に関連する新しい変種を生成できます。これにより、モデルが問題構造を理解しているかをより厳密に検証できます。
• 敵対的頑健性を評価：問題の変形や摂動に対してモデルの性能が保たれるかを調べ、脆弱なショートカットに依存していないかを見ます。
• オープンな基盤作り：主催者は、計算インフラ支援、モデルアクセス、ベースラインシステムを提供し、将来的に利用可能なオープン頑健性ベンチマークを構築する計画です。

意義と影響

このチャレンジの核心は、数学に限らない重要な問いです。すなわち、前線的な AI モデルの意思決定がどの程度汎化可能で、どの程度信頼できるのかを、私たちは判断できるのかという問いです。

モデルが正しい答えを出しても、その根拠が不安定であれば、新しい条件や敵対的な変化の下で簡単に破綻する可能性があります。AIMO Interpretability Challenge は、問題、記号変換、モデルアクセス、頑健性評価を組み合わせることで、この不安を研究可能な形に落とし込んでいます。

AI 評価全体にとっても、この取り組みは重要な方向転換を示しています。今後のベンチマークは、「どれだけ正解したか」だけでなく、「どのように正解したか」「その解法は別の状況でも通用するか」を問う必要があります。数学や科学のように信頼性が重視される領域では、この違いがモデル活用の前提条件になっていくでしょう。

出典：arXiv