AI 에이전트는 물리 연구를 실제로 완결할 수 있을까

들어가며

과학 AI를 평가할 때 그럴듯한 수식이나 계산을 만들어내는 능력만으로는 충분하지 않다. 더 어려운 질문은 따로 있다. AI 에이전트가 명확한 연구 목표를 중심으로 조사를 설계하고, 필요한 증거를 찾아 검증하며, 결론이 적용될 수 있는 조건까지 확인한 뒤 연구 질문을 실제로 끝낼 수 있는가? PhysClosureBench는 바로 이 능력을 측정하기 위해 제안된 벤치마크다.

부분적 성과와 연구 종결의 차이

이 벤치마크는 강장 물리학, 아토초 물리학 및 인접 분야를 다루는 전문가 검증 과제 50개로 구성된다. 각 과제는 연구 목표와 핵심 과학적 제약을 제시하지만, 구체적인 해결 절차는 정하지 않는다. 에이전트는 어떤 계산과 분석을 수행할지, 어떤 증거가 질문에 답하기에 충분한지 스스로 결정해야 한다.

평가는 두 가지 층위로 이뤄진다.

• Atomic Score는 20개 기준을 이용해 분석, 계산, 증거 구성 등 국소적인 과학적 성취를 측정한다.
• **Research Closure(RC0—RC4)**는 필수 증거가 갖춰졌는지, 결론이 물리적으로 적용 가능한 조건을 충족하는지를 바탕으로 연구 질문이 얼마나 완전히 해결됐는지 평가한다.

이 구분은 중요하다. 기술적으로 인상적인 여러 단계를 수행했다고 해서 연구 목표를 충분히 입증한 것은 아니기 때문이다. 완전한 종결에는 목표, 증거, 한계, 결론을 하나의 방어 가능한 논리 구조로 연결해야 한다.

결과가 보여준 격차

연구진은 7개의 최첨단 대규모 언어 모델을 평가했다. Claude-Opus-5는 평균 Atomic Score 6.29/10으로 가장 높았지만, RC4에 도달한 시도는 32.7%에 불과했다. Atomic Score가 8점 이상인 시도에서도 36.2%는 RC4에 도달하지 못했다. 국소 작업의 품질이 높더라도 전체 결론이 충분한 증거로 뒷받침된다는 뜻은 아니다.

세 차례 실행 결과를 비교하면, 7개 모델 모두 모든 실행에서 RC4에 도달한 과제 수가 적어도 한 번의 실행에서 기록한 최고치보다 크게 낮았다. 한 번 연구를 종결한 경험이 반복 가능한 능력을 의미하지 않는다는 점도 드러난다.

의미와 영향

사례 분석은 두 가지 반복되는 실패를 지적한다. 에이전트가 자신이 생성한 결과를 잘못 해석하는 경우와, 결론이 물리적으로 어디까지 적용되는지 해결하지 않은 경우다. 과학 에이전트에는 공식, 코드, 설명을 생성하는 능력뿐 아니라 부족한 증거와 확인되지 않은 조건을 알아차리고 필요할 때 결론의 범위를 좁히는 능력이 필요하다.

PhysClosureBench의 의의는 과학 AI 평가의 기준을 “답이 그럴듯한가”에서 “연구를 끝내기에 충분한 증거가 있는가”로 확장했다는 데 있다. 앞으로 신뢰할 수 있는 연구 협력자가 되려면 AI 시스템은 증거 계획, 결과 감사, 적용 범위 점검, 불확실성 표현을 함께 개선해야 한다.

출처: Hugging Face Daily Papers