Agent Lightning v1.0、エージェント・ハーネスを強化学習に組み込む

導入

検索、コード実行、外部ツール利用を行うエージェントは、LLM単体では動作しない。ツールを呼び出し、履歴を整理し、次の処理を決めるエージェント・ハーネスが、実際の挙動を大きく左右する。Agent Lightning v1.0は、この実運用のハーネスをモデルの強化学習にどう接続するかを扱う。

主なポイント

• ハーネスをポストトレーニングの構成要素にする。 論文はこの方式を「harnessed agentic RL」と呼ぶ。従来のエージェント強化学習では学習エンジンが環境との対話ループを管理するが、ここではハーネスが対話を進め、学習器はLLMのリクエスト・レスポンス列だけを受け取る。
• LLMエンドポイントのプロキシで分離する。 Agent Lightningは、LLMの呼び出しを仲介するプロキシを通じて、既存の任意のハーネスとRL学習系を接続する。実運用の制御ロジックを訓練専用に大きく書き換えなくてよい点が狙いだ。
• データ処理が学習結果を左右する。 複数回のモデル呼び出しをどのように再トークン化し、サンプルとして統合するか。報酬やアドバンテージを各呼び出しへどう配分し、損失をどう正規化するか。さらに学習バックエンドをどうスケジュールするかが、安定性と効率に影響する。
• 小規模な実装を目指す。 約3,500行のコードで構成され、指示追従、検索、コーディングのエージェントを対象にする。コードエージェント向けには、データクリーニングと学習スクリプトを含む一連の手順も示している。

意義と限界

コードエージェントの実験では、6,000件の学習例と比較的少ない計算資源を使い、Qwen3.5-9BのSWE-bench Verifiedスコアを41.8%から56.4%へ改善した。絶対値で14.6ポイントの向上であり、コードエージェントのRLが必ずしも大規模な専用基盤だけを必要としない可能性を示す。

この研究の重要性は、ハーネスを単なる周辺ソフトウェアではなく、学習システムの一部として捉え直した点にある。多段のツール利用や変化するコンテキストでは、単純な入出力ログだけでは、どの呼び出しが成果に貢献したかを扱いにくい。Agent Lightningは、その問題を検証するための軽量なテストベッドを提供する。

一方、提示された資料だけから、あらゆるモデルやタスクで同じ効果が得られるとは判断できない。今後は、異なるハーネスや報酬設計での比較が、実用性を見極める鍵になる。

出典：Hugging Face Daily Papers