TOME-Math：把大学数学教材变成结构化证明监督数据

导语

当前用于训练语言模型的数学数据，常被整理成“题目—答案”形式。这样的格式便于批量构造和训练，却容易丢失数学知识原本的组织方式：一个定理建立在此前哪些定义和命题之上，证明为何要分成若干步骤，以及不同章节之间如何逐步增加难度。论文提出的 TOME-Math，试图把大学数学教材重新视为一种带有结构的证明监督来源。

核心要点

• 规模与来源：数据集覆盖 2,118 本大学层级数学教材，整理出约 38 万条结构化证明监督记录。
• 保留教材脉络：记录不仅包含问题和解答，还保留章节顺序、命题与证明的对应关系、依赖引用、中间证明义务以及来源出处。
• 研究课程学习：作者利用这些结构信号，探索模型是否可以按照教材式的知识推进，在多个数学主题之间进行课程学习。
• 规模效应：实验同时考察监督数据量和来源范围扩大后，模型表现如何变化。
• 综合结果：在完整规模训练下，模型在留出评测和公开基准上的未加权平均成绩，相比基础模型提升 16.7 个百分点，并在总体比较中超过论文评估的三个公开指令数据基线。

为什么教材结构重要

数学证明并不是一组彼此独立的答案。学习者通常先掌握定义，再理解引理和命题，最后把这些工具组合成更复杂的证明。如果训练样本被随机打散，模型可能只记住局部表达模式，却难以学习“哪些知识可以作为后续证明的前提”。TOME-Math 的价值正在于把这种依赖关系显式化，使训练数据更接近真实教材中的学习路径。

这一思路也为比较不同数据组织方式提供了实验框架。即使监督内容大体相同，按章节和命题关系组织数据，可能与完全扁平化的混合训练产生不同效果。不过，现有材料主要概述了总体收益，尚不足以据此断言 16.7 个百分点的提升全部来自课程顺序；数据规模、来源多样性和结构化标注都可能共同发挥作用。

意义与局限

TOME-Math 表明，扩展数学监督数据不一定只能依靠不断生成孤立题目。大规模教材本身包含相对完整的概念网络、证明过程和知识先后关系，经过整理后可以成为更适合研究数学推理的数据资源。对模型训练而言，这可能推动从“答案覆盖率”转向对证明依赖和推理过程的关注；对评测研究而言，也有助于分析数据顺序与来源广度分别带来的影响。

需要注意的是，论文材料并未提供每个学科、每项基准或不同课程策略的详细分项结果，数据集也仍处于即将发布状态。因此，TOME-Math 的可复现性、许可范围、教材质量控制以及对未见数学任务的泛化能力，还需要在数据公开和后续研究后进一步检验。

来源：Hugging Face Daily Papers