과학 AI 에이전트는 연구를 진전시키지만 아직 완수하지 못한다

들어가며

AI에게 데이터를 분석하고 코드를 실행하며 그림과 보고서를 만들게 하는 일은 점점 일상적인 작업이 되고 있다. 그러나 실제 과학 연구는 정답 하나를 제시한다고 끝나지 않는다. 에이전트는 연구 목표를 이해하고, 적절한 방법을 선택하며, 입력 데이터를 처리하고, 코드를 실행한 뒤, 필요한 중간·최종 산출물을 빠짐없이 검증 가능한 형태로 제출해야 한다. FrontierChallenge는 바로 이 전체 과정을 시험한다.

고립된 능력보다 완전한 납품을 측정하다

이 벤치마크는 총 300개의 엔드투엔드 과학 워크플로로 구성되며, 이번 논문에서는 97개 과제를 공개하고 평가했다. 분야는 양자화학, 분자동역학, 재료 특성 분석, 분석화학, 생명과학, 전기화학·환경과학으로 나뉜다. 각 과제에는 고정된 입력과 함께 제출해야 할 과학적 산출물 묶음이 명시된다.

연구진은 12개 프런티어 모델을 세 가지 에이전트 스캐폴드로 평가했다. 모든 완료 조건을 만족한 비율은 Pass Rate, 부분적인 진전은 Avg. Score로 측정했다. 주요 결과는 다음과 같다.

• 가장 좋은 구성도 97개 중 20개만 완료해 Pass Rate 20.6%를 기록했다.
• 분석화학의 Avg. Score는 87.6이었지만 최고 Pass Rate는 4%에 불과했다.
• 전기화학·환경과학은 Avg. Score가 94.9였지만 최고 Pass Rate는 0%였다.
• 통과하지 못한 Claude Code 실행 궤적 가운데 75.5%는 완료를 주장하는 표현으로 끝났다.

부분 점수가 완료를 보장하지 않는 이유

과학 워크플로에는 병목이 존재한다. 에이전트가 데이터를 올바르게 읽고 주요 분석 코드를 실행하며 보기 좋은 그래프까지 만들 수 있어도, 검증 절차, 오차 분석, 특정 파일, 요구된 형식의 보고서 중 하나라도 빠지면 전체 납품은 실패할 수 있다.

따라서 Avg. Score와 Pass Rate는 서로 다른 질문에 답한다. Avg. Score는 유용한 작업을 얼마나 진행했는지를 보여주지만, Pass Rate는 모든 요구사항을 충족해 실제 결승선에 도달했는지를 묻는다. 유창한 요약이나 자신감 있는 “완료” 선언은 각 항목을 점검했다는 증거가 아니다. 이번 결과는 에이전트의 자기평가와 외부 검증 사이에 상당한 간극이 있음을 보여준다.

과학 에이전트 평가에 주는 의미

FrontierChallenge는 AI for Science 시스템을 평가하는 기준을 넓힌다. 앞으로는 다단계 실행, 도구 사용, 분야 간 일반화, 산출물의 완전성, 재현 가능성을 함께 확인해야 한다. 최종 답변이 그럴듯한지만 볼 것이 아니라 필요한 파일이 실제로 존재하고 검증 가능한지도 평가해야 한다.

이 결과가 과학 에이전트가 무용하다는 뜻은 아니다. 에이전트는 복잡한 워크플로의 여러 단계에서 이미 상당한 진전을 만들 수 있다. 다만 연구자를 보조하는 수준에서 독립적으로 연구 과제를 신뢰성 있게 납품하는 수준으로 가는 길은 아직 멀다. 그 간극이 줄어들 때까지 연구 현장에서는 체크리스트, 사람의 검토, 자동 검증이 계속 중요한 안전장치로 남을 것이다.

출처: Hugging Face Daily Papers