TB-MathModel：把数学建模变成可验证的智能体测试

导语

数学建模与“解一道已经定义好的题”并不相同。面对真实问题，智能体需要先理解背景资料，再决定变量、假设和约束，处理附件中的数据，建立可计算模型，最后给出能够自洽、可复核的建议。现有评测往往只考察其中的代码或推理片段，或者让语言模型对完整报告打分，却未必验证报告中的数字是否真的可行。

Hugging Face Daily Papers 收录的 TB-MathModel，试图把这层能力变成更完整的机器评测任务。论文将其称为 Terminal-style Mathematical Modeling Bench，选择中国大学生数学建模竞赛（CUMCM）和美国大学生数学建模竞赛（MCM）中 2023—2025 年的 18 道题目，构建了一个带终端环境的测试集。

核心设计

• 从材料阅读一直做到结果提交。 每个任务包含原始题面、官方附件和图表，并运行在容器化终端中。智能体需要自行查看文件、编写和运行程序，最终输出一个 JSON 结果，而不是只回答某个孤立的数学小问。
• 重点核验数值核心。 评测不直接对整篇建模报告做主观打分，而是关注最终问题中的关键数值。评分采用方向感知的单边方式：如果模型结果优于参考锚点，不会因为“偏离锚点”而被惩罚。
• 使用多份人工参考。 论文整理了 94 篇优秀获奖论文作为参考。由于建模问题通常不存在唯一答案，模型需要同时接近多份人类专家方案，而不是针对某一份标准答案进行拟合。
• 把可行性作为硬门槛。 系统先通过程序检查六类可判定的不变量，再配合 624 个 Lean 4 内核检查义务进行验证。若输出的数字违反可行性要求，即使数值上接近参考答案，也会触发硬门槛并将得分归零。

实验结果与局限

在 7 个多模态模型、每个模型 3 个种子的测试中，最佳条目的多参考评测得分为 64.58%。原文还报告，GPT-6 Astra 达到约 64.6%，Claude Fable 5.1 达到 63.1%；一个成本约 2.54 美元的开放模型则取得 59.81%，成本约为前者的百分之一。数字显示，模型已经能够完成一部分端到端建模流程，但距离稳定处理开放、含噪且需要解释的现实问题仍有明显差距。

需要注意的是，这套基准主要用竞赛题作为现实建模的代理场景，最终评分也集中在最后问题的数值核心。因此，它不能完全替代对假设合理性、报告表达、模型鲁棒性和实际决策价值的评估。Lean 形式化检查同样覆盖的是可表达、可判定的约束，而不是所有建模判断。

意义与影响

TB-MathModel 的价值不只在于增加了一组题目，更在于尝试建立“环境—轨迹—验证奖励”的闭环：智能体在统一终端中操作，结果由可复现程序和形式化检查共同约束，过程数据则有可能被用于后续训练和分析。对于智能体研究而言，这比单纯依赖报告打分更接近真实工作流，也为比较多模态模型的工具使用、数据处理和科学推理能力提供了一个可操作的起点。

来源：Hugging Face Daily Papers