AI 에이전트는 개방형 AI 연구를 수행할 수 있을까? 두 건의 섀도 평가가 준 초기 증거

도입

AI 발전이 폭발적으로 가속될 것이라는 전망의 중심에는 한 가지 가정이 있다. AI 에이전트가 AI 연구 자체를 자동화할 수 있다는 것이다. 하지만 이 가정을 뒷받침하는 증거는 아직 충분하지 않다. 기존 평가는 정답이 명확한 좁은 과제에 집중하거나, AI가 만든 논문을 일반 동료평가에 제출하는 방식에 의존해 왔다. 이런 방식은 실제 연구의 개방성, 판단, 시행착오를 제대로 포착하기 어렵다.

이번 논문은 이를 보완하기 위해 ‘섀도 평가’라는 접근을 제안한다. 에이전트에게 단순 벤치마크가 아니라, 고품질 미발표 논문의 중심 연구 질문을 맡긴다. 이후 해당 논문의 원저자들이 에이전트의 결과물을 평가한다. 연구 맥락을 가장 잘 아는 전문가가 판단한다는 점에서, 보다 현실적인 평가를 지향한다.

핵심 내용

• 현실 연구에 가까운 평가: 연구진은 미발표 NeurIPS 2026 제출 논문 두 편을 기준 과제로 사용했다.
• 충분한 자원 제공: 프런티어 에이전트에는 6일의 시간과 수천 달러 규모의 컴퓨팅 자원이 주어졌다.
• 엔지니어링은 수행 가능: 논문에 따르면 에이전트는 인간 도움 없이 필요한 구현과 실험 작업을 완료했다.
• 연구 진전은 부족: 그러나 핵심 연구 질문에 실질적으로 답하지 못했고, 두 결과물은 모두 원저자에게 명확히 거절됐다.
• 반복되는 실패 양상: 두 번째 모델과 스캐폴드를 사용한 확인에서도 유사한 문제가 재현됐다.

저자들은 다섯 가지 실패 모드를 제시한다. 출판 가능한 연구의 기준을 제대로 판단하지 못하는 점, 연구 설계의 약점에 창의적으로 대응하지 못하는 점, 막다른 길에서 효과적으로 되돌아오지 못하는 점, 시간과 연산 자원에 대한 인식 부족, 그리고 시간이 지나며 지시에서 벗어나는 현상이다.

의미와 영향

이 연구가 말하는 바는 AI가 연구에 쓸모없다는 결론이 아니다. 오히려 현재 에이전트가 AI 연구의 많은 실행적·공학적 부분을 처리할 수 있음을 보여준다. 다만 실제 연구에서 어려운 부분은 단순 실행이 아니라, 어떤 방향이 유망한지 판단하고, 실패한 설계를 고치며, 제한된 자원을 전략적으로 쓰는 과정에 있다.

따라서 AI 연구 자동화의 진전을 평가할 때 코딩 벤치마크나 닫힌 문제의 점수만으로는 부족하다. 연구 생애주기 전체, 특히 판단과 창의성이 필요한 구간을 평가해야 한다. 이번 섀도 평가는 사례 수가 적고 비용도 크지만, 에이전트가 단순한 실행 도구를 넘어 실제 연구 협력자로 발전하고 있는지 측정하는 더 현실적인 방향을 제시한다.

출처: Hugging Face Daily Papers