AutoSFT: 다중 에이전트로 SFT 데이터 레시피를 자동 연구한다

서론

포스트 트레이닝에서 성능을 결정하는 요소는 모델과 학습 알고리즘만이 아닙니다. 어떤 데이터를 어떤 비율로 사용하느냐도 지도 미세 조정의 결과에 큰 영향을 줍니다. 그러나 기존 자동화 시스템은 고정된 데이터 풀에서 샘플을 고르거나 생성기를 호출하는 수준에 머무르는 경우가 많습니다. 실제 데이터 엔지니어는 카테고리 비율을 조정하고, 품질이 낮은 데이터를 제거하며, 오류를 복구하고, 부적절한 샘플을 교체하고, 부족한 능력을 보완할 데이터를 새로 합성합니다.

AutoSFT는 이러한 폭넓은 데이터 작업을 에이전트가 자동으로 수행할 수 있는지 검증합니다.

시스템의 작동 방식

AutoSFT는 SFT를 일회성 데이터 전처리가 아니라 데이터 레시피를 반복적으로 연구하는 과정으로 정의합니다. 비교 과정에서는 기반 모델, 트레이너, 예산을 고정하고 다중 에이전트가 다음 학습 레시피를 제안합니다.

• 메타 에이전트가 실험 실행, 결과 해석, 후보 제안 통합을 조정합니다.
• 실행과 분석을 분리합니다. 실행 에이전트가 데이터 처리와 학습을 맡고, 분석 에이전트가 결과를 검토해 개선안을 제시합니다. 이를 통해 실행 로그가 추론 컨텍스트를 모두 차지하는 문제를 줄입니다.
• 독립적인 분석 에이전트가 서로 다른 관점에서 후보 방안을 제안합니다.
• 합성 에이전트는 기존 데이터 풀만으로는 다루기 어려운 능력을 보완할 새 지도 데이터를 만듭니다.
• 각 라운드에서 기반 모델로 재학습해 특정 구성 요소의 효과를 비교적 명확하게 측정할 수 있습니다.

초기 단일 에이전트 실험에서는 에이전트가 카테고리 비율 조정이라는 한 가지 작업에 집중했습니다. 또한 실행 결과가 컨텍스트를 채우면서 탐색 중 얻은 유용한 정보가 버려졌습니다. AutoSFT의 역할 분리와 조정 구조는 바로 이 두 가지 병목을 해결하기 위해 도입됐습니다.

주요 결과

구성 요소를 단계적으로 추가하자 실행기는 컨텍스트 손실을 약 절반으로 줄였습니다. 분석 서브에이전트는 최고 IFEval 점수를 6.5포인트 높였고, 합성 기능은 IFEval에서 3.4포인트, IFBench에서 2.9포인트를 추가로 개선했습니다. 같은 연구 루프를 코드 작업에 적용했을 때도 분석 기능을 추가하면, 성능이 개선되지 않았던 단일 에이전트 기준선보다 MBPP+가 3.7포인트 상승했습니다.

이 결과가 보여주는 핵심은 단일 모델에게 데이터셋을 반복 수정하게 하는 것만으로 자동 포스트 트레이닝이 완성되지 않는다는 점입니다. 효과적인 데이터 연구에는 실험 실행, 근거 분석, 대안 탐색, 부족한 능력을 채우는 데이터 생성이 하나의 순환 구조로 연결돼야 합니다.

의미와 과제

AutoSFT는 자동 하이퍼파라미터 조정에서 자동 데이터 엔지니어링으로 확장되는 방향을 제시합니다. 사람이 실제로 수행하는 데이터 레시피 변경을 더 폭넓게 다루고, 실행·분석·합성의 역할을 명시적으로 분리했다는 점이 특징입니다. 코드 작업으로의 전이는 이 구조가 특정 지시 수행 평가에만 한정되지 않을 가능성도 보여줍니다.

다만 제공된 자료에는 전체 모델 설정, 데이터 규모, 운영 비용, 세부 데이터 액션 정의, 더 폭넓은 일반화 실험이 포함돼 있지 않습니다. 따라서 현재 결과는 범용 포스트 트레이닝 시스템이 완성됐다는 결론보다는, 구조화된 다중 에이전트 데이터 연구가 유효할 수 있다는 실증적 신호로 해석하는 편이 적절합니다. 앞으로는 모델·작업·예산이 달라져도 안정적인지, 합성 데이터의 품질과 자동 평가 사이에 어떤 편향이 생기는지를 추가로 확인해야 합니다.

출처: Hugging Face Daily Papers