OpenForgeRL：実運用の Harness 上で Agent を強化学習する枠組み

導入

近年の AI Agent は、単純な一回のモデル呼び出しではなく、推論 harness に大きく依存しています。Claude Code、Codex、OpenClaw のような harness は、多ターン推論、ツール利用、状態管理、外部システムとのやり取りをまとめて扱います。その一方で、こうした複雑さは訓練を難しくします。既存のオープンな SFT/RL スタックは、状態を持つ多プロセスの harness 推論をそのまま表現するのが得意ではありません。

OpenForgeRL は、この断絶を埋めることを狙ったフレームワークです。実運用で使う harness を簡略化して作り直すのではなく、その harness と環境の中で Agent を直接訓練できるようにします。

重要なポイント

• 推論と訓練の分離：OpenForgeRL は軽量プロキシを使い、harness が発行するモデル呼び出しを処理しながら、それを訓練データとして記録します。記録されたデータは veRL など標準的な RL コードベースに渡せます。
• rollout の分離実行：Kubernetes オーケストレータにより、各 rollout は独立したリモートコンテナで動作します。ツール、ブラウザ、GUI、外部環境を扱う Agent では、この分離がスケールと再現性の面で重要になります。
• harness-native な設計：OpenForgeRL は、実際の harness が持つ状態管理や複数プロセスの流れを前提にしています。訓練用に過度に単純化された環境へ置き換えない点が特徴です。
• 複数の Agent 設定で評価：検証対象は、ツール/Claw 系 Agent と、マルチモーダルな GUI、ブラウザ、コンピュータ操作 Agent に及びます。OpenForgeClaw は ClawEval で 31.7 pass^3 と 55.9 pass@3、QwenClawBench で 33.7 を報告しています。OpenForgeGUI は OSWorld-Verified で 37.7、Online-Mind2Web で 63.0、WebVoyager で 72.3 に達しています。

意義と影響

この研究の中心的な価値は、ベンチマークの数字だけではありません。Agent の挙動は基盤モデルだけで決まるわけではなく、harness の設計、ツール選択、自己検証、環境からのフィードバックに強く左右されます。OpenForgeRL は、その一連の流れを訓練対象に含めやすくします。

論文では、harness の選び方によって学習のしやすさが大きく異なること、また RL によって自己検証、ツールカバレッジ、多段計画の完了といった信頼性に関わる行動が改善されることが示されています。一方で、エラー回復のような重要能力は依然として弱いとも述べられています。

オープンな Agent 研究にとって、OpenForgeRL は「プロンプトで動く Agent」から「実際の harness 内で訓練される Agent」へ進むための実用的な基盤になり得ます。

Source: Hugging Face Daily Papers