WhatWorkedBench, AI 에이전트의 실험 이해력을 평가하다

들어가며

AI 연구 에이전트는 코드를 작성하고 실험을 실행하는 데서 그쳐서는 안 됩니다. 어떤 변경이 결과를 만들었는지 파악하고, 제한된 실행 예산에서 다음에 무엇을 측정할지도 결정해야 합니다. WhatWorkedBench는 이 능력을 ‘실험 이해력’으로 정의하고, 구성 요소의 변화가 결과에 미치는 영향을 얼마나 정확히 예측하는지 평가합니다.

에이전트는 워크플로 코드를 살펴본 뒤 예산 안에서 측정할 설정을 고릅니다. 그리고 구성 요소 설정의 모든 조합에 대한 점수를 예측하는 응답 표면을 제출합니다. 따라서 평가의 초점은 단일 실험의 성공 여부가 아니라, 일부 관측만으로 실험 결과의 구조를 복원하는 능력에 있습니다.

핵심 내용

• 전체 실행 결과를 기준으로 삼는다. 연구진은 CPU에서 설정 조합을 모두 실행하고, 다른 요소를 고정한 상태에서 각 구성 요소를 바꿨을 때의 효과를 계산합니다. 데이터는 36개 과제, 30개 데이터 소스, 8개 워크플로 유형으로 구성되며 설정 기록은 1248개입니다. 핵심 평가에는 4206개의 수치 제어 기록과 108개의 에이전트 에피소드가 포함됩니다.
• 측정 항목의 선택이 결과를 좌우한다. 새로운 측정을 8회 수행하는 조건에서 쌍별 효과 릿지 회귀는 22개 데이터 소스 중 15개에서 최적 설정을 선택했습니다. 이 가운데 3개에서는 모든 효과 오차가 점수 범위의 10% 이내로 제한됐습니다.
• 같은 관측도 통계 모델로 더 잘 활용할 수 있다. 에이전트가 이미 수집한 관측에 가우시안 프로세스를 적용하자 효과 복원 지표는 원래 Flash 코호트에서 0.632에서 0.698로, 추가 코호트에서 0.621에서 0.720으로 상승했습니다. 비트 검출과 그래프 관련 6개 제출에서는 워크플로 계열 기준 복원이 0.303에서 0.455로 개선됐습니다.
• 프로그램 구조도 유용한 정보가 된다. 6개의 이진 옵션을 가진 워크플로에서 실제 동작이 동일한 설정을 코드 등가성으로 묶자, 20회 추가 측정 조건의 가우시안 프로세스 복원 지표가 0.248에서 0.462로 올랐습니다.

의미와 영향

WhatWorkedBench의 가장 큰 의미는 ‘에이전트가 실험을 이해한다’는 표현을 측정 가능한 예측 문제로 바꾼 데 있습니다. 에이전트가 그럴듯한 실험 코드를 만들더라도 실제 구성 요소 효과와 우연한 변동을 구분하지 못한다면, 예산이 제한된 환경에서 지속적인 개선을 이루기 어렵습니다.

이 결과는 실험 에이전트의 발전이 더 큰 언어 모델에만 달려 있지 않다는 점도 보여줍니다. 정보량이 높은 측정 지점을 고르는 능력, 응답 표면을 수치적으로 추론하는 능력, 코드에서 동일한 동작을 하는 설정을 찾아 탐색 공간을 줄이는 능력이 모두 중요합니다.

다만 이 벤치마크가 직접 측정하는 것은 구성 요소 효과의 복원과 점수 예측입니다. 과학적 발견 전체나 연구 품질을 종합적으로 평가하는 지표는 아닙니다. 그럼에도 연구 에이전트가 실험을 단순히 실행하는 수준을 넘어, 실험에서 재사용 가능한 지식을 얻는지를 검증할 수 있는 분명한 기반을 제공합니다.

출처: Hugging Face Daily Papers