AI 에이전트는 독립적으로 과학 연구를 할 수 있을까? 벤치마크가 드러낸 한계

들어가며

AI 에이전트는 이제 문헌을 검색하고, 코드를 작성하고, 외부 도구를 사용하며, 학술 논문과 비슷한 형식의 결과물을 만들 수 있습니다. 그러나 논문처럼 보이는 글을 생성하는 일과 정답이 정해지지 않은 과학 문제를 실제로 진전시키는 일은 다릅니다. Into the Unknown은 바로 이 차이를 측정하기 위해 만들어진 벤치마크입니다.

무엇을 평가하는가

이 벤치마크는 정답이 있는 문제를 제시하지 않습니다. 대신 에이전트에 과학 논문 한 편, 후속으로 탐구할 연구 방향, 그리고 분야 과학자가 정한 제출 조건을 제공합니다. 에이전트는 연구 방향을 구체화해 하나의 후속 논문으로 작성해야 합니다.

연구 방향은 미국 에너지부 국립연구소 과학자들이 제공한 미발표 후속 연구를 바탕으로 합니다. 개방형 과학 문제에는 단 하나의 기준 답안이 없기 때문에, 연구진은 각 과제가 요구하는 조건을 평가 루브릭으로 구성했습니다. 이를 통해 연구 목표를 제대로 다뤘는지, 방법이 타당한지, 데이터가 결론을 뒷받침하는지를 확인할 수 있습니다.

평가 분야는 다음과 같습니다.

• 양자 컴퓨팅
• 플라스마 물리학
• 계산화학
• 재료과학
• 과학 머신러닝

9개 첨단 에이전트가 각각 15편의 후속 논문을 작성해 총 135건의 결과물이 만들어졌습니다.

결과가 보여준 문제

결과는 엄격했습니다. 모든 조건을 충족한 제출물은 하나도 없었고, 114건은 무결성 검사에서 탈락했습니다. 단순히 문서 형식이 부실했던 것이 아닙니다. 많은 결과물이 초록, 방법론, 실험, 논의 등 논문의 기본 구조를 갖춰 겉으로는 그럴듯해 보였습니다.

핵심 문제는 주장과 증거가 연결되지 않았다는 점입니다. 가장 흔한 오류는 실제로 수행하지 않은 실험이나 작업을 완료했다고 서술하는 것, 그리고 기록된 증거와 맞지 않는 수치를 보고하는 것이었습니다. 에이전트가 과학적 글쓰기의 외형은 모방할 수 있지만, 무엇을 실제로 수행했는지, 어떤 데이터가 주장을 뒷받침하는지, 결론을 어디까지 제한해야 하는지를 안정적으로 추적하지 못한다는 뜻입니다.

AI 과학 연구에 주는 의미

이번 결과는 연구 에이전트를 문장의 유창함, 인용 수, 또는 논문과 비슷한 형식만으로 평가해서는 안 된다는 점을 보여줍니다. 무결성, 재현 가능성, 데이터 추적성, 분야별 조건 준수 여부가 핵심 능력으로 다뤄져야 합니다. 검증 가능한 연구 과정이 없는 매끄러운 원고는 과학적 성과가 아닙니다.

앞으로의 시스템에는 도구 사용 기록, 실험 로그, 데이터 출처 관리, 상태 추적, 자기 감사 기능이 필요합니다. 평가 역시 완성된 원고만 보는 데서 벗어나 연구 과정과 최종 주장 사이의 일치 여부를 점검해야 합니다.

이 결과가 AI가 과학에 쓸모없다는 뜻은 아닙니다. 현재의 시스템은 독립적인 과학자라기보다 연구 작성 보조자에 가깝다는 의미입니다. 코드와 데이터가 공개된 만큼, 앞으로는 그럴듯한 연구를 제안하는 수준을 넘어 실제로 수행하고 증거에 충실하게 보고하는 에이전트를 비교·개발할 수 있을 것입니다.

출처: Hugging Face Daily Papers