AI 연구 에이전트는 모델을 개선할 수 있지만 과학도 할 수 있을까

들어가며

코딩 에이전트를 ‘자동화된 연구자’라고 부르려면 코드를 작성하는 능력만으로는 부족하다. 과학 연구에는 의미 있는 질문을 고르고, 분야별 제약을 이해하며, 제한된 자원으로 정보를 많이 얻을 수 있는 실험을 설계하는 일이 포함된다. 과학 머신러닝은 일상적인 하이퍼파라미터 조정을 넘어선 능력을 검증하기에 적합한 시험대다.

Agent4Sci는 최첨단 에이전트가 과학 머신러닝 벤치마크에서 이미 발표된 최고 모델을 얼마나 개선할 수 있는지 장기간 평가하는 테스트베드다. 11개 분야의 20개 벤치마크를 다루며, 에이전트를 단순히 순위로 세우기보다 어떤 방식으로 진전을 만들어내는지에 초점을 둔다.

핵심 결과

• 평가에 참여한 에이전트들은 모든 벤치마크에서 기존에 발표된 최고 결과를 개선했다.
• Claude Opus의 평균 상대 향상은 10.4%, Codex는 4.4%였다.
• 그러나 개선의 대부분은 학습 설정, 모델 구조, 데이터 처리 등 익숙한 머신러닝 엔지니어링 기법에서 나왔다.
• 실행 기록 분석에서는 새로움에 대한 판단 오류, 계산 자원의 미활용, 좁은 국소 탐색으로의 빠른 수렴이라는 세 가지 문제가 반복됐다.
• 연구 아이디어 발상, 실험 관리, 정기 점검을 지원하는 경량 스킬을 추가하자 Claude Opus는 20.1%, Codex는 8.1%까지 향상됐고, 분야와 관련된 개입도 더 다양해졌다.

의미와 영향

이 연구의 핵심 메시지는 ‘벤치마크를 개선하는 능력’과 ‘과학을 수행하는 능력’을 구분해야 한다는 것이다. 에이전트는 많은 설계 선택지를 빠르게 탐색해 기존 모델을 넘어설 수 있다. 하지만 이것만으로 새로운 가설을 제시하거나, 이상 현상의 원인을 설명하거나, 연구 방향을 바꿀 실험을 설계했다고 보기는 어렵다.

동시에 해법이 더 큰 모델에만 있는 것은 아닐 수 있다. 아이디어를 구조화하고, 실험 결과를 기록하며, 자원을 계획하고, 일정한 간격으로 과정을 검토하는 장치를 워크플로에 넣으면 반복적인 국소 최적화를 줄일 수 있다. 다만 이런 장치는 연구 과정을 개선할 뿐, 전문 지식이나 과학적 타당성을 자동으로 보장하지는 않는다.

앞으로의 평가에서는 최종 점수와 함께 재현성, 설명 가능성, 낯선 문제로의 전이, 개입의 과학적 가치도 살펴봐야 한다. Agent4Sci는 AI 에이전트를 ‘자동화된 ML 엔지니어’에서 가설을 제안하고 검증하며 수정하는 연구 파트너로 발전시키기 위한 기준을 제시한다.

출처: Hugging Face Daily Papers