TOME-Math, 대학 수학 교재를 구조화된 증명 학습 데이터로

들어가며

언어 모델 학습에 사용되는 수학 데이터는 대개 문제와 답의 독립적인 쌍으로 정리된다. 이 방식은 대규모 처리에 유리하지만, 수학적 학습에서 중요한 구조를 잃기 쉽다. 특정 명제가 어떤 정의와 보조정리에 기대는지, 증명이 어떤 중간 목표로 나뉘는지, 교재가 기초 개념에서 고급 논증으로 어떻게 발전하는지가 대표적인 예다. TOME-Math는 대학 수학 교재를 단순한 텍스트가 아니라 구조를 갖춘 증명 감독 데이터의 원천으로 활용한다.

핵심 내용

• 규모: 대학 수준 수학 교재 2,118권에서 약 38만 건의 구조화된 증명 감독 기록을 만들었다.
• 학습 흐름 보존: 모든 기록을 서로 무관한 예제로 섞지 않고 장의 진행 순서를 유지한다.
• 증거 구조 보존: 명제와 증명의 연결, 의존 관계, 중간 증명 의무, 원문 출처를 기록한다.
• 커리큘럼 학습 실험: 여러 수학 분야에서 이러한 구조 신호를 활용한 학습을 탐색한다.
• 스케일링 분석: 감독 데이터의 양과 출처의 폭이 성능에 미치는 영향을 살핀다.
• 주요 결과: 전체 규모로 미세 조정했을 때 유보 평가와 기존 공개 벤치마크의 비가중 평균이 기반 모델보다 16.7%포인트 상승했다. 또한 비교된 세 가지 공개 지시 데이터 기준을 종합적으로 앞섰다.

교재 구조가 중요한 이유

증명은 문제에 붙은 단일 정답이 아니다. 교재에서는 정의가 보조정리로 이어지고, 보조정리가 명제를 뒷받침하며, 앞서 배운 결과가 이후 증명의 도구가 된다. 모든 기록을 무작위로 섞으면 국소적인 문장 패턴은 배울 수 있어도 어떤 지식을 전제로 삼아야 하는지는 파악하기 어려워진다. TOME-Math는 이런 의존 관계의 일부를 학습 과정에서 사용할 수 있도록 만든다.

이 연구는 데이터의 양과 구성 방식을 분리해 비교할 수 있는 틀도 제공한다. 비슷한 종류의 감독 데이터라도 장 순서와 의존 정보를 유지하는지, 완전히 평탄화하는지에 따라 결과가 달라진다면 구조 자체의 효과를 분석할 수 있다. 다만 공개된 자료만으로 16.7%포인트의 향상이 커리큘럼 순서만으로 발생했다고 단정할 수는 없다. 더 많은 감독 데이터, 출처의 다양성, 구조화된 기록이 함께 기여했을 가능성이 있다.

의미와 남은 과제

TOME-Math의 핵심 메시지는 수학 감독 데이터의 확장이 고립된 연습문제를 계속 늘리는 방식에만 의존할 필요가 없다는 것이다. 교재에는 개념 네트워크, 증명 단계, 난이도의 진행이 이미 담겨 있다. 이를 기계가 읽을 수 있는 기록으로 바꾸면 정답의 양뿐 아니라 증명의 근거와 의존 관계를 중시하는 학습을 연구할 수 있다.

그러나 현재 제공된 자료에는 분야별, 벤치마크별, 커리큘럼 전략별 세부 결과가 포함되어 있지 않다. 데이터셋도 공개 예정으로 안내되어 있어, 실제 공개 여부와 범위는 후속 확인이 필요하다. 재현성을 평가하려면 최종 데이터, 라이선스, 품질 관리, 문서화를 살펴봐야 한다. 새로운 수학 문제와 다른 모델에서도 효과가 유지될지는 앞으로 검증할 과제다.

출처: Hugging Face Daily Papers