ParetoRSI-Gym、AIエージェントの多領域モデル改善を検証

導入

再帰的自己改善（RSI）は、言語モデルに答えを作らせるだけの仕組みではありません。後継モデルを改善するために、エージェントがデータを探し、整理し、学習を実行し、結果を読み取り、次の行動を決める必要があります。従来の評価の多くは単一ベンチマークを中心としており、固定されたデータプールから例を選ぶ、あるいは強いモデルを蒸留することで、1回の実行で1つのスコアを押し上げる設計でした。

しかし、実際のポストトレーニングでは複数能力のバランスが重要です。数学の性能向上がコード能力の低下を伴うこともあり、ある分野での改善だけでは成功とは言えません。ParetoRSI-Gymは、この問題を多領域の評価課題として定式化します。

主なポイント

• 反復型のエージェントループ。 エージェントはデータを探索・選別し、学習を実行し、分野別の結果を確認したうえで、次のラウンドの方針を決めます。
• 実験条件を統制。 初期言語モデル、ツールセット、5分野、教師あり微調整（SFT）パイプラインを固定し、主な違いをエージェントのデータ選択に限定します。
• 5つの分野を評価。 数学、コード、金融、医療、科学を対象にするため、単一スコアだけを追う戦略では不十分です。
• 汎化を別に検証。 エージェントが最適化した代理指標への過学習ではなく、未使用の課題にも能力が移るかを独立ベンチマークで調べます。
• 改善幅は構成に依存。 3つのエージェントシステム、3つのベースモデル、5ラウンド、複数シードで比較した結果、Claude CodeとOpus-5の組み合わせが最も強く、代理指標上の最良チェックポイントは、3モデル・5分野を等重みで平均した汎化スコアで開始モデルを相対9.2%上回りました。絶対値では2.3ポイントの改善です。単一分野では、Ministral-3-3Bの医療タスクで相対63%の向上が報告されています。

意義と限界

この研究の意義は、エージェントによるモデル改善を、1回限りのデータ選択ではなく、連続的なエンジニアリング判断として測った点にあります。エージェントはデータ品質、分野のカバレッジ、能力間のトレードオフを考えなければなりません。

また、独立した汎化評価は重要です。エージェントが観測するスコアの癖を利用し、見かけの指標だけを改善する可能性があるからです。別のベンチマークで効果を確認することで、実質的な能力向上との違いを検証できます。

分析では、モデルそのものだけでなく、ツール、フィードバックの提示方法、反復手順を含むハーネスの影響も大きいと示されました。さらに、各エージェントは異なるデータ選択戦略を形成しました。今後はモデル名だけでなく、結果をどう観測し、学習判断へ変換するかも比較対象にする必要があります。

本環境は、SFTパイプラインなどを固定した管理しやすい評価です。そのため完全なRSI全体を測るものではありませんが、データ駆動型ポストトレーニングにおけるエージェントの能力を切り分ける基盤になります。

出典：Hugging Face Daily Papers