ParetoRSI-Gym, 여러 영역에서 AI 에이전트의 모델 개선 능력 검증

들어가며

재귀적 자기개선(RSI)은 언어 모델이 더 나은 답변을 생성하는 데서 끝나지 않습니다. 후속 모델을 개선하려면 에이전트가 데이터를 찾고 선별한 뒤 학습을 실행하고, 결과를 읽어 다음 전략을 결정해야 합니다. 기존 평가 중 상당수는 하나의 벤치마크에 집중합니다. 에이전트가 고정된 데이터 풀에서 샘플을 고르거나 강한 모델을 증류해 한 번의 실행에서 단일 점수를 올리면 성공으로 간주하는 방식입니다.

하지만 실제 포스트트레이닝은 여러 능력을 동시에 다룹니다. 수학 능력이 좋아지는 대신 코드 성능이 떨어질 수 있고, 금융 영역의 향상이 의료 지식의 향상을 의미하지도 않습니다. ParetoRSI-Gym은 이런 상충 관계를 직접 다루기 위해 설계됐습니다.

핵심 내용

• 반복되는 에이전트 루프. 에이전트는 데이터를 탐색하고 정리한 뒤 학습을 수행합니다. 이후 영역별 결과를 확인하고 다음 라운드에서 사용할 데이터 전략을 조정합니다.
• 실험 조건 통제. 초기 언어 모델, 도구 세트, 다섯 영역, 지도 미세조정(SFT) 파이프라인은 고정합니다. 주요 차이는 에이전트가 선택한 데이터에서 발생합니다.
• 다섯 영역 평가. 수학, 코드, 금융, 의료, 과학을 함께 평가하므로 하나의 점수만 올리는 전략으로는 충분하지 않습니다.
• 일반화 성능 확인. 에이전트가 직접 최적화한 대리 지표에 과적합했는지, 실제로 보지 못한 과제에도 능력이 전이되는지를 별도 벤치마크로 점검합니다.
• 구성에 따른 성과 차이. 세 가지 에이전트 시스템, 세 가지 기반 모델, 다섯 라운드와 여러 시드를 비교한 결과, Claude Code와 Opus-5 조합이 가장 강했습니다. 이 설정에서 대리 지표상 최적 체크포인트의 일반화 점수는 세 모델과 다섯 영역을 동일 가중치로 평균했을 때 시작 모델보다 상대 9.2%, 절대 2.3포인트 높았습니다. 단일 영역에서는 Ministral-3-3B의 의료 과제에서 상대 63% 향상이 관찰됐습니다.

의미와 한계

ParetoRSI-Gym의 중요한 점은 에이전트 기반 모델 개선을 일회성 데이터 선택이 아니라 연속적인 엔지니어링 의사결정으로 평가한다는 데 있습니다. 에이전트는 데이터 품질과 영역별 커버리지, 능력 간의 충돌을 함께 고려해야 합니다. 한 영역의 점수가 오른 것만으로는 다른 능력의 하락을 정당화할 수 없습니다.

일반화 평가도 핵심입니다. 에이전트가 자신에게 제공된 피드백의 규칙을 이용해 겉으로 보이는 점수만 높일 가능성이 있기 때문입니다. 독립된 평가 세트에서 성과가 유지되는지 확인해야 대리 지표 최적화와 실제 능력 향상을 구분할 수 있습니다.

연구는 모델 자체만큼 하네스의 영향도 크다고 지적합니다. 하네스에는 사용하는 도구, 결과를 제시하는 방식, 반복 절차가 포함됩니다. 또한 각 에이전트는 서로 다른 데이터 선택 전략을 발전시켰습니다. 따라서 향후 비교에서는 기반 모델의 이름뿐 아니라 에이전트가 결과를 관찰하고 학습 결정을 내리는 과정도 공개해야 합니다.

다만 이 환경은 SFT 파이프라인 등 여러 요소를 고정한 통제된 평가입니다. 완전한 RSI 전체를 측정한다기보다, 데이터 중심 포스트트레이닝에서 에이전트의 의사결정 능력을 분리해 살펴보는 출발점에 가깝습니다.

출처: Hugging Face Daily Papers