TB-MathModel：数学モデリングを検証可能なエージェント評価へ

概要

数学モデリングは、定義済みの数式を解くだけの作業ではありません。エージェントは現実の状況を読み取り、変数や仮定を決め、添付データを確認し、計算可能なモデルを作り、最後に根拠のある提案を示す必要があります。既存の評価はコード作成や数理推論の一部分に限定されることが多く、完成したレポートを LLM に採点させる場合でも、そこで示された数値が実際に実行可能かは別途確認されないことがあります。

Hugging Face Daily Papers で紹介された TB-MathModel は、この欠けていた層を評価しようとする基盤です。論文では Terminal-style Mathematical Modeling Bench と呼ばれ、2023〜2025 年の中国大学生数学建模競賽（CUMCM）と Mathematical Contest in Modeling（MCM）から 18 問を選び、ターミナル上で実行できるタスクに変換しています。

主な仕組み

• 資料読解から回答までを一体化。 各タスクには原文の問題文、公式添付資料、図表が含まれ、コンテナ化された環境で利用できます。エージェントはファイルを調べ、コードを書いて実行し、最終的に一つの JSON を返します。
• レポートではなく数値の中核を評価。 最終設問の重要な数値を中心に採点し、方向を考慮した片側評価を採用します。人間の参考値を上回った結果を、単にアンカーから離れたという理由で減点しません。
• 単一の正解に依存しない。 94 本の優秀賞論文を参照に使います。モデリングには複数の妥当な解があり得るため、エージェントは一つの答えを暗記するのではなく、多数の人間解に近い結果を出す必要があります。
• 実行可能性をハードゲート化。 六つの決定可能な不変条件をプログラムで確認し、さらに Lean 4 のカーネルで 624 件の検証義務を処理します。数値が近くても、制約を破ればスコアはゼロになります。

結果と限界

7 件のマルチモーダルな参加モデルを各 3 シードで評価したところ、最高の複数参照評価は 64.58% でした。素材本文では GPT-6 Astra が約 64.6%、Claude Fable 5.1 が 63.1% とされ、約 2.54 ドルのオープンモデルは 59.81% を達成し、先行システムの約 100 分の 1 のコストと報告されています。現在のエージェントが一連の作業を部分的にこなせる一方、安定性にはまだ課題があることを示しています。

ただし、競技問題は現実世界のモデリングを完全に代替するものではありません。主スコアは最終数値に集中しており、仮定の妥当性、説明の質、モデルの頑健性、提案の実務的価値までは十分に表しません。また、Lean で確認できるのは形式化・決定可能にされた制約であり、すべてのモデリング判断ではありません。

意義

TB-MathModel の重要性は、問題集を増やしたことだけではありません。統一された作業環境、再現可能な検証、エージェントの操作履歴を結び付けようとしている点にあります。レポートを LLM が主観評価するだけの方法より、ツール利用、データ処理、マルチモーダル推論、科学的問題解決を共通条件で比較しやすくなります。

このベンチマークは、エージェントが自由な現実問題を解けると証明するものではありません。しかし、資料から数値モデルを作り、受け入れられた解に近く、かつ明示的な制約にも適合するかという能力を、より測定可能な形にした取り組みと言えます。

出典：Hugging Face Daily Papers