TB-MathModel: 검증 가능한 수학 모델링 에이전트 평가

들어가며

수학 모델링은 이미 정의된 방정식을 푸는 작업과 다릅니다. 에이전트는 현실의 모호한 상황을 해석하고, 변수와 가정을 정하며, 첨부 데이터를 살펴보고, 계산 가능한 모델을 만든 뒤, 근거 있는 권고안을 제시해야 합니다. 기존 벤치마크는 이 과정의 일부인 코드 작성이나 수리 추론만 측정하는 경우가 많습니다. 완성된 보고서를 LLM 심판에게 평가받는 방식도 있지만, 보고서에 적힌 숫자가 실제 제약을 만족하는지는 확인하지 못할 수 있습니다.

Hugging Face Daily Papers에 소개된 TB-MathModel은 이 공백을 평가 대상으로 삼습니다. 논문은 이를 Terminal-style Mathematical Modeling Bench라고 부릅니다. 2023~2025년 중국 대학생 수학 모델링 경시대회(CUMCM)와 Mathematical Contest in Modeling(MCM)에서 18개 문제를 골라 터미널 기반 작업으로 구성했습니다.

핵심 설계

• 자료 확인부터 답 제출까지 평가합니다. 각 작업에는 원문 문제, 공식 첨부자료, 그림이 포함되며 컨테이너 터미널에서 제공됩니다. 에이전트는 파일을 확인하고 코드를 작성·실행한 뒤 하나의 JSON 결과물을 내야 합니다.
• 보고서보다 수치의 핵심을 확인합니다. 최종 문항의 핵심 수치를 중심으로 평가하며, 방향을 고려한 단측 점수를 사용합니다. 인간 참고값보다 더 나은 결과를 단지 기준점에서 멀다는 이유로 감점하지 않습니다.
• 하나의 정답에 의존하지 않습니다. 94편의 우수상 논문을 참고자료로 사용합니다. 모델링에는 여러 타당한 해가 있을 수 있으므로, 에이전트는 특정 답을 외우기보다 여러 인간 해법에 가까운 결과를 내야 합니다.
• 실행 가능성을 통과 조건으로 둡니다. 여섯 가지 결정 가능한 불변식 형태를 프로그램으로 검사한 뒤, Lean 4 커널이 624개의 검증 의무를 확인합니다. 수치가 참고답과 가깝더라도 제약을 위반하면 점수는 0점이 됩니다.

결과와 한계

7개 멀티모달 모델을 대상으로 각각 3개 시드로 실험한 결과, 최고 다중 참조 평가 점수는 64.58%였습니다. 소재는 GPT-6 Astra가 약 64.6%, Claude Fable 5.1이 63.1%를 기록했다고 보고합니다. 약 2.54달러의 오픈 모델은 59.81%를 달성했으며, 선두 시스템에 제시된 비용의 약 100분의 1 수준입니다. 현재 에이전트가 일부 엔드투엔드 모델링 작업을 수행할 수 있지만, 안정성에는 여전히 큰 차이가 있음을 보여줍니다.

다만 이 벤치마크가 현실의 모든 모델링 능력을 대체하는 것은 아닙니다. 경쟁대회 문제는 현실 문제의 대리 사례이고, 핵심 점수도 최종 수치에 집중합니다. 가정의 타당성, 보고서의 설득력, 모델의 견고성, 실제 의사결정 가치 등은 충분히 반영되지 않을 수 있습니다. Lean 검증 역시 형식화하고 결정 가능하게 만든 제약을 확인할 뿐, 모든 모델링 판단을 판정하지는 않습니다.

의미와 영향

TB-MathModel의 의미는 문제 수를 늘린 데만 있지 않습니다. 동일한 작업 환경, 재현 가능한 검증, 에이전트의 작업 궤적을 연결하려 한다는 점이 핵심입니다. 단순히 LLM에게 보고서를 채점하게 하는 방식보다 도구 사용, 데이터 처리, 멀티모달 추론, 과학적 문제 해결을 공통 조건에서 비교하기 쉬워집니다.

이 벤치마크는 에이전트가 자유로운 현실 문제를 곧바로 해결할 수 있음을 증명하지 않습니다. 그러나 원자료에서 수치 모델을 만들고, 여러 인간 해법에 근접하면서도 명시된 제약을 만족하는지라는 능력을 보다 재현 가능하게 측정하는 출발점은 제공합니다.

출처: Hugging Face Daily Papers