R²Orch, 재귀적 셀프플레이로 에이전트 오케스트레이션 개선

배경

복잡한 작업을 에이전트로 해결하려면 최종 답변을 생성하는 능력만으로는 부족합니다. 문제를 어떻게 나눌지, 어떤 도구나 하위 에이전트를 호출할지, 중간 결과를 어떻게 통합할지 결정하는 오케스트레이터가 필요합니다. 기존 방식은 사람이 학습 커리큘럼을 설계하고 보조 스킬을 점점 추가하는 경우가 많았습니다. R²Orch(Recursive Self-Play Orchestration)는 과제 선택과 학습 방식 자체를 재귀적으로 개선하는 접근을 제안합니다.

핵심 작동 방식

• 두 개의 학습 루프: 내부 루프는 Proposer가 선택한 과제를 셀프플레이로 학습합니다. 외부 루프는 내부 루프가 어떤 과제에서 어떻게 더 효과적으로 학습할지 개선합니다.
• 재귀적 학습 가능성: Proposer는 스킬을 철회한 뒤에도 rollout 결과가 하나로 수렴하지 않는 과제를 선택하도록 보상받습니다. 결과의 차이가 계속 남아 있다는 점을 추가 학습 신호가 있다는 지표로 활용하는 것입니다.
• 스킬 철회: 셀프플레이 안의 통제된 평가에서 특정 스킬 없이도 오케스트레이터가 같은 수준의 성능을 내면 해당 스킬을 철회합니다. 이는 단순한 시스템 경량화가 아니라, 새로운 약점을 드러내는 학습 장치로 사용됩니다.
• 실패의 순환: 실패는 스킬로 정제되고, 스킬은 모델 파라미터에 내재화됩니다. 스킬이 철회되면 새로운 실패가 나타나고, Proposer는 이를 바탕으로 다음 과제를 찾습니다. 이렇게 시스템은 외부 스킬에 대한 의존도를 줄이는 방향으로 움직입니다.

실험 결과와 한계

논문은 질의응답, 수학, 코드, 인터랙티브 작업을 포함하는 12개 데이터셋에서 R²Orch를 평가했습니다. 제공된 자료에 따르면 제로 스킬 설정의 9B 오케스트레이터는 12개 벤치마크 모두에서 가장 좋은 결과를 기록했습니다. 가장 강한 기준선과 비교했을 때 평균 점수는 분포 내에서 86.0에서 89.8로, 분포 밖에서는 76.1에서 78.8로 상승했습니다. AIME 2026 결과도 74.0에서 81.3으로 높아졌다고 보고됐습니다. 다만 이 수치는 자료에 제시된 실험 요약이므로, 학습 비용, 기준선 구성, 제거 실험, 재현성은 논문 전체를 통해 별도로 확인해야 합니다.

의미와 영향

R²Orch의 중요한 점은 커리큘럼을 고정된 난이도 목록이 아니라 학습 대상 자체로 본다는 데 있습니다. 가장 어려운 과제가 항상 가장 유용한 것은 아닙니다. 이미 획득한 능력을 제거했을 때도 결과 차이와 실패를 계속 드러내는 과제가 더 가치 있을 수 있습니다.

이 접근법이 규모가 커져도 안정적으로 작동한다면, 사람이 만든 스킬 라이브러리에 대한 의존을 줄이고 외부 기능을 계속 쌓는 에이전트에서 능력을 파라미터 안으로 내재화하는 에이전트로의 전환을 촉진할 수 있습니다. 그러나 중첩된 셀프플레이의 계산 비용, 철회 결정의 안정성, 더 개방적인 작업으로의 일반화는 앞으로 검증해야 할 과제입니다.

출처: Hugging Face Daily Papers