OpenFrontiers, AI가 연구 성과를 실제로 재발견할 수 있는지 검증

연구 수준의 AI 능력을 측정하는 방법

대규모 언어 모델은 복잡한 수학 문제나 과학적 질문에 대해 매우 설득력 있는 답변을 생성한다. 그러나 자연스러운 설명이나 자신감 있는 증명 개요만으로는 모델이 결과를 독립적으로 도출했는지, 기존 지식을 재구성했는지, 인터넷에서 답을 찾았는지 구분하기 어렵다. OpenFrontiers는 이 문제를 해결하기 위해 연구 문제 모음과 형식적으로 검증 가능한 평가 세트를 하나의 자원으로 묶었다.

두 가지로 구성된 자원

첫 번째는 여러 분야의 공개 연구 문제를 모은 코퍼스다. 총 1만2151개의 문제에 문제 진술, 배경, 현재까지의 진전 등 관련 정보가 기록되어 있다. 따라서 단순한 프롬프트 목록이 아니라, 실제 연구에서 문제가 어떤 맥락에 놓여 있는지까지 담은 자료로 볼 수 있다.

두 번째는 수학 문제를 대상으로 한 회고형 벤치마크다. 총 200개 문제 가운데 자료에 제시된 설정상 110개는 2026년에 해결되었고, 90개는 여전히 미해결 상태다. 각 문제에는 Lean 4로 작성된 형식 명세가 있으며, 자동화된 탐침과 두 차례의 독립 검토를 거쳤다. 품질 점수 등을 기준으로 추가 선별한 HQ-50 하위 세트도 제공된다.

해결된 문제와 아직 열린 문제를 같은 틀에 넣으면, 모델이 과거의 결과를 다시 만들어내는 능력과 현재 미해결 문제를 다루는 능력을 구분해 연구할 수 있다.

정답이 아니라 검증 가능한 증명

평가는 격리된 샌드박스에서 진행되며, 제출된 형식 증명을 두 개의 독립 검사기가 확인한다. 모델이 스스로 정답이라고 주장하는지, 설명이 유창한지는 핵심 기준이 아니다. 실제 형식 검사를 통과하는지가 평가의 중심이다.

실험은 세 가지 정보 조건을 비교했다.

• 폐쇄형 조건: 외부 자료 없이 모델의 추론과 내부 지식에 의존한다.
• 고정 검색 조건: 미리 제한된 정보 환경만 사용할 수 있다.
• 실시간 웹 조건: 온라인 자료를 검색할 수 있다.

7개 LLM 에이전트를 HQ-50에서 동일한 예산으로 평가한 결과, 보고된 해결 문제 40개 중 폐쇄형 조건에서 재발견된 문제는 최대 7개였다. 실시간 웹을 허용하면 성공 양상은 달라지지만, 그 성과의 상당 부분은 이미 발표된 해답을 찾아낸 데서 비롯됐다. 따라서 웹 검색 성공을 독립적인 연구 성과의 재현과 동일하게 해석해서는 안 된다.

왜 중요한가

OpenFrontiers의 핵심 기여는 연구 능력을 단순 정답률로 판단하지 않는 평가 방법을 제시한 데 있다. 문제의 역사적 상태, 형식 명세, 정보 접근 조건, 독립적인 증명 검사를 함께 사용하면 기억, 검색, 추론, 진정한 재발견을 더 세밀하게 나눌 수 있다.

다만 현재 벤치마크는 수학에 집중되어 있고, 형식화된 평가 세트의 규모도 제한적이다. 다른 과학 분야의 연구 과정을 Lean으로 표현하는 일 역시 쉽지 않다. 그럼에도 이 자원은 다양한 분야로 확장하고, 에이전트 전략을 비교하며, 미해결 문제에 대한 AI의 진전을 추적하기 위한 유용한 출발점이 될 수 있다.

Hugging Face Daily Papers