중앙 지휘자 없이 수학을 탐구하는 AI 에이전트들

들어가며

수학 문제에 답하는 AI와 연구 과정을 스스로 운영하는 AI 사이에는 큰 차이가 있다. 연구자는 유망한 방향을 선택하고, 가설을 실험하며, 실패를 걸러내고, 다른 사람이 이어서 검토할 수 있도록 결과를 정리해야 한다. 논문 「Autonomous Mathematical Discovery in an Open-World Multi-Agent Environment」가 소개하는 Station은 이 과정을 여러 AI 에이전트로 실험하는 환경이다.

핵심 내용

• 중앙 조정자가 없다. Station에는 공동 연구 목표만 주어지며, 모든 작업을 배분하는 중앙 에이전트나 미리 정해진 스크립트가 없다. 서로 다른 모델 계열의 에이전트가 각자 연구 방향을 선택하고, 후보 구성을 만들며, 계산 실험을 수행한다.
• 공유 문헌을 축적한다. 에이전트의 가설과 실험 결과는 공동 과학 문헌에 기록된다. 이후 에이전트는 앞선 결과를 바탕으로 탐색을 이어갈 수 있어, 같은 시도를 반복하는 비용을 줄일 수 있다.
• 다양한 구성 문제를 다룬다. 평가에는 AlphaEvolve 카탈로그의 12개 구성 문제와 추가 사례 2개가 포함됐다. 논문에 따르면 5개 문제에서 기존 문헌 대비 새로운 결과가 보고됐다. 유한체 Kakeya 집합의 새로운 무한족, 11차원에서 정확히 604개 점을 갖는 kissing 구성, 이산 Kakeya needle 문제와 sign uncertainty 문제의 새 기록 등이 사례다.
• 수치 이상의 설명을 시도한다. Erdős minimum-overlap 문제에서는 하한을 크게 개선한 결과가 보고됐고, Book Ramsey 수에서는 새로운 무한족이 발견됐다. 특히 에이전트는 특정 구성값만 제시하는 데 그치지 않고, 그 구성이 작동하는 이유를 설명하는 정리와 분석도 생성하려 했다.
• 과정을 공개한다. 원시 에이전트 대화, 증명 자료, 검증 코드가 공개돼 결과뿐 아니라 발견 과정과 오류 가능성을 외부 연구자가 살펴볼 수 있다.

의미와 한계

Station의 의미는 자동화된 수학을 단일 모델의 질의응답이 아니라 지속적인 협업 과정으로 다룬다는 데 있다. 한 에이전트는 대규모 후보를 탐색하고, 다른 에이전트는 패턴을 찾거나 가설을 정리하며, 또 다른 에이전트는 증명의 빈틈을 점검할 수 있다. 공유 문헌은 이런 중간 결과를 보존해 후속 탐색의 출발점으로 만든다. 이는 최종 답 하나를 평가하는 전통적인 벤치마크보다 실제 연구의 반복성과 협업 구조에 가깝다.

다만 논문에서 말하는 ‘기존 문헌 대비 새로운 결과’가 곧 수학계의 독립적인 검증을 마쳤다는 뜻은 아니다. 다중 에이전트 시스템도 같은 오류를 공유할 수 있고, 성립하지 않는 증명을 만들거나 과거 연구를 놓칠 수 있다. 따라서 공개된 검증 코드와 대화 기록은 부수적인 자료가 아니라 주장을 확인하고 수정하기 위한 핵심 근거다.

앞으로 이런 시스템을 평가할 때는 더 큰 수치를 한 번 찾았는지만 볼 것이 아니라, 결과가 재현 가능하고 설명이 이해되며 인간 수학자가 검토하고 발전시킬 수 있는지를 함께 살펴봐야 한다.

Hugging Face Daily Papers