ASI-Bench가 보여준 AI 자율 연구의 현재 한계

들어가며

현재 AI는 논문을 검색하고 요약하며 코드를 작성하고, 절차가 명확한 작업을 실행하는 데 상당한 성과를 보인다. 하지만 기존 지식을 활용해 정답을 내는 것과 미지의 영역에서 새로운 지식을 발견하는 것은 다른 능력이다. 과학 연구에서는 유망한 방향을 찾고, 적절한 방법을 고르고, 예상 밖의 결과에 대응하며, 다른 사람이 확인할 수 있는 근거를 만들어야 한다.

ASI-Bench는 바로 이 차이를 측정하기 위해 설계된 평가다. 일반적인 연구 영역에서 AI의 혁신적 탐색 능력과 프로젝트 수준의 자율적 연구 수행 능력을 함께 살펴본다.

핵심 특징

• 단일 질의가 아닌 프로젝트 단위 평가: 11개 과학 분야의 60개 연구 과제를 담아 아이디어에서 결과까지의 전체 흐름을 평가한다.
• 방법론적 지침의 단계적 축소: 충분한 연구 방법을 안내하는 조건에서 시작해, 마지막에는 에이전트가 사용할 방법 자체를 결정하도록 한다.
• 검증 가능한 결과 강조: 과제는 전문가 검토, AI 보조 감사, 샌드박스 실행, 채점 검증을 거친다. 그럴듯한 문장과 실제로 확인 가능한 연구 결과를 구분하려는 설계다.
• 자율성이 높아질수록 성능 하락: 18개 최신 에이전트-모델 구성의 평균 점수는 완전한 방법론 지침 아래 50.91이었다. 방법만 지정하면 29.10, 방법을 스스로 선택하게 하면 26.62로 낮아졌다.

성능 하락이 의미하는 것

이 결과는 현재 AI의 능력이 인간이 제공한 연구 구조에 크게 의존한다는 점을 보여준다. 이미 계획된 절차를 수행하는 것과, 모호한 문제를 어떻게 나누고 어떤 가설을 검증할지 스스로 판단하는 것은 다르다. 실패했을 때 다음 시도에서 무엇을 바꿀지 결정하는 능력도 별도의 과제다.

기존 벤치마크에서는 이러한 차이가 가려질 수 있다. 데이터와 도구, 연구 절차, 성공 기준이 모두 주어지면 모델은 지식 검색과 워크플로 실행 능력을 주로 보여준다. 그러나 실제 연구는 정보가 불완전하고 결과가 불확실하며, 진행 중에 방법을 수정해야 하는 경우가 많다.

ASI-Bench의 의미는 미지의 문제 탐색, 방법 선택, 연구 실행, 결론 검증을 하나의 평가 흐름으로 묶었다는 데 있다. 모델 개발자는 어느 단계에서 에이전트가 무너지는지 파악할 수 있고, 연구 조직은 매끄럽게 작성된 보고서를 신뢰할 수 있는 발견과 동일시해서는 안 된다는 점을 확인할 수 있다.

물론 이 벤치마크 하나만으로 과학적 창의성 전체를 측정할 수는 없다. 분야별 난이도, 과제 구성, 채점 방식, 사용 가능한 도구가 결과에 영향을 줄 수 있으며, 제공된 초록만으로는 각 과제의 세부 내용도 알 수 없다. 그럼에도 방법론적 지원을 제거하자 현행 시스템의 성능이 크게 떨어졌다는 결론은 중요하다. 가설 생성, 방법 선택, 실패 회복, 자기 검증을 안정적으로 수행하는 AI를 만드는 일이 자율적 AI 과학자를 향한 핵심 과제로 남아 있다.

출처: Hugging Face Daily Papers