자율 연구 에이전트는 왜 실패하는가

들어가며

대규모 언어 모델은 논문을 요약하거나 초안을 작성하는 수준을 넘어, 연구의 여러 단계를 연속적으로 수행하고 있다. 하나의 에이전트가 가설을 세우고 문헌을 검색한 뒤 실험을 실행하고, 결과를 분석해 논문을 작성하고 검토하는 방식은 흔히 ‘AutoResearch’라고 불린다. 그러나 최종 보고서만 평가하면, 그 결과가 어떤 과정을 거쳐 만들어졌는지와 어디서 연구가 잘못됐는지를 파악하기 어렵다.

「How Do Agents Fail on AutoResearch」는 이 문제를 다루기 위해 AutoResearchEval을 제시했다. 이 평가의 핵심은 답변의 겉모습이 아니라, 답변을 만들어낸 전체 실행 궤적과 중간 산출물을 함께 살펴보는 데 있다.

연구 생애주기를 대상으로 한 평가

AutoResearchEval은 출판된 최전선 연구를 바탕으로 한 100개의 실제 과제로 구성됐다. 과제는 7개 과학 분야에 걸쳐 있으며, 아이디어 구상, 정보 검색, 실행, 분석, 작성, 검토 등 연구 생애주기의 여러 단계를 포함한다. 연구진은 8개의 모델·에이전트 하네스 조합을 평가해 총 800개의 궤적을 수집했다.

평가 대상은 최종 답변으로 한정되지 않는다. 연구진은 작업 로그, 소스 코드, 실행 디렉터리, 데이터와 보고서를 함께 조사했다. 예를 들어 초록에 적힌 숫자가 디스크에 저장된 표와 일치하는지, 방법론 설명이 실제로 실행된 코드와 대응하는지, 특정 주장을 실제 실험 결과까지 추적할 수 있는지를 확인한다.

정답이 명확하게 정해져 있지 않은 70개의 개방형 과제에서는 정답과의 일치보다 과정의 엄밀성과 산출물 사이의 자기 일관성을 중점적으로 판단했다. 판정 파이프라인은 전문가 평가를 바탕으로 보정됐으며, 전문가와의 일치율은 0.83으로 보고됐다. 외부의 정답이 없어도 에이전트가 남긴 보고서와 실행 결과 사이의 모순을 통해 신뢰성을 평가할 수 있다는 의미다.

45가지 실패 패턴의 공통 원인

연구진은 관찰된 현상을 AutoResearch Failure Taxonomy, 즉 ARFT로 정리했다. 이 분류에는 실증적으로 확인된 45가지 실패 패턴이 포함된다.

• 실패한 접근법에 대한 고착: 도구 호출이나 연구 경로가 작동하지 않는데도 같은 시도를 반복하고 방향을 전환하지 않는다.
• 국소 최적화와 성급한 종료: 일부 작업을 완료한 뒤 전체 연구 목표까지 달성했다고 판단한다.
• 이유는 틀렸지만 결과만 맞는 경우: 결론은 그럴듯해 보이지만 추론이나 실험이 결론을 뒷받침하지 않는다.
• 결과 환각과 추적 불가능한 주장: 보고서의 수치가 실행 산출물에 없거나, 실제로 구현·실행하지 않은 방법을 사용했다고 설명한다.
• 오류 전파와 목표 이탈: 초기에 검증하지 않은 판단이 검색, 실행, 분석, 작성의 다음 단계로 연쇄적으로 퍼진다.

서로 다른 단계에서 나타나는 이 문제들은 하나의 공통된 결함으로 수렴한다. 에이전트가 자신이 생성한 내용과 실제로 발견하거나 실행한 내용을 안정적으로 대조하지 않는다는 점이다. 모순이 생겼을 때 계획을 수정하거나 결론을 다시 검토하는 일도 충분히 수행하지 않는다. 연구진은 이러한 능력을 확인, 의심, 수정, 재계획으로 이어지는 ‘메타인지 루프’로 설명한다.

남은 한계와 산업적 의미

이번 평가가 모든 실제 운영 장애를 포착하는 것은 아니다. 저자들은 무관한 정보가 단계마다 컨텍스트에 쌓이는 현상을 독립적인 실패 메커니즘으로 분리하지 못했다고 인정한다. 오류 전파와 목표 이탈은 관찰할 수 있지만, 하네스가 각 단계에서 구성한 컨텍스트를 모델이 어떻게 활용했는지까지 완전히 들여다보지는 못한다. 따라서 컨텍스트 열화로 발생하는 일부 문제는 과소평가될 수 있다.

이 연구가 주는 메시지는 연구 에이전트의 성능을 더 높이는 것만으로는 충분하지 않다는 것이다. 신뢰할 수 있는 시스템은 실행 후 데이터를 다시 확인하고, 방법 설명과 실제 코드를 대조하며, 결론이 증거와 일치하는지 점검해야 한다. AutoResearchEval은 단일 최종 점수에서 감사 가능한 궤적과 산출물 기반 원인 분석으로 평가의 초점을 옮긴다. 다음 단계의 AutoResearch는 논문을 더 빨리 쓰는 시스템보다, 제출 전에 자신의 연구에서 무엇이 아직 성립하지 않는지 알아차리는 시스템에 가까울 것이다.

Hugging Face Daily Papers