R²Orch、再帰的セルフプレイでエージェント編成を改善

概要

複雑なタスクをエージェントに解かせるには、回答を生成するだけでは不十分です。問題の分解、ツールやサブエージェントの選択、途中結果の統合、実行手順の調整などを担う「オーケストレーター」が必要になります。従来の訓練では、人手でカリキュラムを作り、補助的なスキルを増やしていく方法が一般的でした。R²Orch（Recursive Self-Play Orchestration）は、タスク選択と学習方法そのものを再帰的に改善する枠組みを提案します。

仕組みの要点

• 二重のループ：内側のループでは、Proposerが選んだタスクをセルフプレイで学習します。外側のループは、内側の学習がどのタスクで、どのように進むべきかを改善します。
• 再帰的学習可能性：Proposerは、スキルを撤回してもロールアウトの結果が一つに収束しないタスクを選ぶよう報酬を受けます。結果に差が残ることを、さらなる学習信号が存在する兆候として利用します。
• スキル撤回：セルフプレイ内の制御された評価で、あるスキルがなくても同等の性能を出せると確認されると、そのスキルを撤回します。これにより、単なる機能削減ではなく、新しい弱点を意図的に表面化できます。
• 失敗を循環させる設計：失敗はスキルに蒸留され、スキルはモデルパラメータへ内在化されます。その後の撤回が新たな失敗を生み、Proposerが次の学習課題を探すという循環を形成します。

実験結果と注意点

論文は、質問応答、数学、コード、インタラクティブタスクにまたがる12のデータセットで評価しています。提供された概要によると、ゼロスキル設定の9Bオーケストレーターは12のベンチマークすべてで最良の結果を記録しました。最強ベースラインとの比較では、分布内の平均スコアが86.0から89.8へ、分布外が76.1から78.8へ向上し、AIME 2026では74.0から81.3へ伸びたと報告されています。これらは素材に記載された結果であり、訓練コスト、ベースラインの実装、アブレーション、再現性については本文全体での確認が必要です。

意義

R²Orchは、カリキュラムを固定の難易度表ではなく、学習可能な対象として捉え直します。重要なのは常に最も難しい問題ではなく、獲得した能力を外しても有意な差や失敗を引き出せる問題なのかもしれません。

この考え方が大規模環境でも安定すれば、手作業で構築したスキルライブラリへの依存を減らし、外部スキルを蓄積するエージェントから、能力をパラメータへ内在化するエージェントへの転換を促す可能性があります。一方、二重ループの計算コスト、撤回判断の安定性、より開放的なタスクへの汎化は、今後検証すべき課題です。

出典：Hugging Face Daily Papers