エージェント強化学習に「Harness Scaling」という新たな拡張軸

導入

エージェントの性能は、基盤となる言語モデルやタスクだけで決まるわけではありません。ツールをどのように呼び出すのか、環境からの観測をどう受け取るのか、過去の履歴をどう管理するのか、長いタスクをどのような手順で進めるのかも大きく影響します。これらを支える実行基盤が Harness です。

しかし、既存のエージェント強化学習では、単一の固定 Harness を通じて学習する構成が一般的でした。この方法では、モデルが一つのプロンプト形式やツール仕様、ワークフローには適応できても、別の実行設定へ移ったときに性能を維持できない可能性があります。

論文「Harness Scaling for Generalizable Agentic Reinforcement Learning」は、Harness をエージェント強化学習における新しいスケーリング軸として位置づけます。課題や環境の数だけでなく、モデルがどのように行動するかを変化させながら学習するという考え方です。

手法のポイント

研究チームは Harness の構成要素を次の五つに分解しました。

• システムプロンプト：役割、規則、行動方針を定める部分
• ツールインターフェース：ツールの説明、呼び出し、結果の返却方法
• 観測：環境情報を何をどの形式で提示するか
• コンテキスト管理：履歴の保持や圧縮をどう行うか
• ワークフロー：実行手順、反復、処理の連携方法

そのうえで、可能な設定を無制限に学習へ投入するのではなく、因子化した Harness 空間を構築し、組み合わせをバランスよくカバーする比較的小規模な訓練集合を選びます。同じタスクを複数の Harness で扱うクロス Harness 学習も行い、タスクの本質と実行方式の違いを分離しやすくしています。

主な結果

複数のベンチマーク、モデル規模、強化学習アルゴリズムを用いた評価では、Harness Scaling により、学習時には見ていないホワイトボックス設定への汎化が一貫して改善しました。また、単に訓練設定の数を増やすよりも、構造化された選択と局所性を意識した学習の方が有効でした。つまり、Harness の多様性は量だけで決まらず、設定同士の関係や空間全体のカバー方法が重要です。

さらに、構造化されたホワイトボックス Harness で学習したモデルは、Claude Code などの未知の外部ブラックボックス Harness にも効果的に転移しました。単一の複雑なブラックボックス Harness で直接強化学習したモデルを上回ったとされています。提示された素材には具体的な数値はありませんが、閉じた一つのシステムへの最適化より、学習段階で実行方式を計画的に変化させる方が広い転移につながる可能性を示す結果です。

意義と今後

この研究は、エージェント強化学習における「環境」の意味を、タスクやツールの集合から実行フレームワークへと広げます。エージェントの評価では、タスク成功率だけでなく、プロンプト、インターフェース、観測形式、コンテキスト管理が変わっても能力を維持できるかを検証する必要がありそうです。

実用面では、製品やオーケストレーション基盤が変わっても動作するエージェントを作るうえで、多様な Harness による学習が有効な選択肢になります。一方で、設定のサンプリングコストを抑え、設定間の類似性を測り、ホワイトボックスからブラックボックスへの転移を予測する方法は今後の課題です。Harness Scaling は、エージェントの汎化を考える際に「何を学習させるか」だけでなく「どのように実行させるか」も設計対象にすべきだと示しています。

出典：Hugging Face Daily Papers