MLExpert: 머신러닝 실험을 자율적으로 개선하는 에이전트

들어가며

머신러닝 코드를 한 번 생성하는 것과 머신러닝 엔지니어링 전체를 자율적으로 수행하는 것은 다릅니다. 실제 작업에서는 데이터 전처리와 모델 선택, 학습 설정, 실험 실행, 결과 분석, 다음 시도의 결정이 반복됩니다. 앞선 선택이 뒤의 결과에 영향을 주기 때문에, 이 과정은 단순한 코드 생성이 아니라 긴 순차적 의사결정 문제에 가깝습니다. MLExpert는 이 실험 루프를 에이전트가 관리하도록 만드는 접근입니다.

MLExpert는 35B 규모의 Mixture-of-Experts 에이전트입니다. 사람이 미리 정한 고정 워크플로를 그대로 따르기보다, 도구를 호출해 실험을 구성하고 실행 결과에 따라 최적화 전략을 조정하도록 설계됐습니다.

핵심 내용

• 실행 가능한 학습 환경. Kaggle-MLE Factory는 머신러닝 엔지니어링 과제를 구성하고, 에이전트가 코드를 작성하고 실험을 실행하며 결과를 확인할 수 있는 상호작용 환경을 제공합니다.
• 계층형 에이전트 지도 미세조정. Hierarchical Agentic SFT는 일반적인 코딩 및 도구 사용 능력을 MLE 작업으로 옮깁니다. 또한 긴 상호작용 기록에서 실험 결과와 연결된 유용한 감독 신호를 선별합니다.
• 실행 창 단위의 보상. Windowed Interaction Reinforcement Learning, 즉 WIRL은 두 번의 실험 결과 사이에 발생한 여러 차례의 결정을 하나의 실행 창으로 취급합니다. 창 전체에 결과 기반의 공통 보상을 할당해, 여러 행동이 함께 만든 결과로부터 학습하도록 합니다.
• 궤적 종료 전 정책 업데이트. 비동기 수집과 정책 보정은 전체 실험 궤적이 끝나기 전에 정책 업데이트를 진행할 수 있도록 돕습니다. 비용이 큰 실험을 여러 번 수행하는 MLE 환경에서 학습 지연을 줄이기 위한 설계입니다.
• 보고된 벤치마크 성과. MLE-Bench Lite에서 MLExpert의 평균 메달 획득률은 기본 모델의 37.9%에서 72.7%로 상승했습니다. 논문은 NatureBench Lite와 에이전트 스캐폴드 최적화, 알고리즘 최적화에서도 추가 평가 결과를 제시합니다.

의미와 한계

이 연구의 중요한 점은 MLE를 코드 완성 문제가 아니라 결과를 관찰하며 다음 행동을 정하는 순차적 최적화 문제로 다룬 데 있습니다. 최종 성능은 데이터 처리, 모델 구조, 학습 설정, 탐색 순서 등 앞선 여러 결정의 영향을 받습니다. 따라서 마지막 점수만으로 각 행동을 평가하기 어렵습니다. WIRL은 실험 결과 사이의 결정을 하나의 단위로 묶어 이 지연된 신용 할당 문제를 완화하려고 합니다.

이 접근은 AI가 AI 시스템 개발을 돕는 AI4AI 흐름과도 연결됩니다. 에이전트가 실험 구성과 반복적인 탐색을 맡을 수 있다면 연구자가 직접 관리해야 하는 작업을 줄일 가능성이 있습니다. 다만 이번 결과는 특정 벤치마크와 실행 하니스에서 얻은 것이므로, 개방형 연구 환경에서의 안정성을 곧바로 보장하지는 않습니다. 계산 비용, 잘못된 코드나 오해를 부르는 피드백에 대한 복구, 재현성, 실험 결론의 신뢰성, 다른 분야로의 일반화는 추가 검증이 필요합니다.

앞으로의 핵심 경쟁은 모델이 머신러닝 코드를 쓸 수 있는지를 넘어, 서로 연결된 고비용 실험 프로그램을 장기간 얼마나 안정적으로 운영할 수 있는지에 맞춰질 가능성이 큽니다.

출처: Hugging Face Daily Papers