記事一覧へ戻る

Agent Lightning v1.0、エージェント・ハーネスを強化学習に組み込む

読了目安 3 分

導入

検索、コード実行、外部ツール利用を行うエージェントは、LLM単体では動作しない。ツールを呼び出し、履歴を整理し、次の処理を決めるエージェント・ハーネスが、実際の挙動を大きく左右する。Agent Lightning v1.0は、この実運用のハーネスをモデルの強化学習にどう接続するかを扱う。

主なポイント

  • ハーネスをポストトレーニングの構成要素にする。 論文はこの方式を「harnessed agentic RL」と呼ぶ。従来のエージェント強化学習では学習エンジンが環境との対話ループを管理するが、ここではハーネスが対話を進め、学習器はLLMのリクエスト・レスポンス列だけを受け取る。
  • LLMエンドポイントのプロキシで分離する。 Agent Lightningは、LLMの呼び出しを仲介するプロキシを通じて、既存の任意のハーネスとRL学習系を接続する。実運用の制御ロジックを訓練専用に大きく書き換えなくてよい点が狙いだ。
  • データ処理が学習結果を左右する。 複数回のモデル呼び出しをどのように再トークン化し、サンプルとして統合するか。報酬やアドバンテージを各呼び出しへどう配分し、損失をどう正規化するか。さらに学習バックエンドをどうスケジュールするかが、安定性と効率に影響する。
  • 小規模な実装を目指す。 約3,500行のコードで構成され、指示追従、検索、コーディングのエージェントを対象にする。コードエージェント向けには、データクリーニングと学習スクリプトを含む一連の手順も示している。

意義と限界

コードエージェントの実験では、6,000件の学習例と比較的少ない計算資源を使い、Qwen3.5-9BのSWE-bench Verifiedスコアを41.8%から56.4%へ改善した。絶対値で14.6ポイントの向上であり、コードエージェントのRLが必ずしも大規模な専用基盤だけを必要としない可能性を示す。

この研究の重要性は、ハーネスを単なる周辺ソフトウェアではなく、学習システムの一部として捉え直した点にある。多段のツール利用や変化するコンテキストでは、単純な入出力ログだけでは、どの呼び出しが成果に貢献したかを扱いにくい。Agent Lightningは、その問題を検証するための軽量なテストベッドを提供する。

一方、提示された資料だけから、あらゆるモデルやタスクで同じ効果が得られるとは判断できない。今後は、異なるハーネスや報酬設計での比較が、実用性を見極める鍵になる。

出典:Hugging Face Daily Papers

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
拡散モデルのRL後学習、その多くは活性化の誘導か
強化学習
cctest.ai
強化学習

拡散モデルのRL後学習、その多くは活性化の誘導か

固定のステアリングベクトルだけで、拡散モデルのRL後学習による報酬向上の大部分を再現できるという研究が発表されました。複雑な新変換を学ぶというより、既存能力の発揮方向を調整している可能性を示します。

続きを読む
CCTest · Blog
GRPOの密な報酬は追加計算量に見合うのか
強化学習
cctest.ai
強化学習

GRPOの密な報酬は追加計算量に見合うのか

1668回の実験と6モデルを用いた研究は、生成トークン数とGPU時間をそろえると、モンテカルロ型の密なプロセス報酬が標準GRPOを上回らないことを示した。不確実な問題を選んで学習する方法は、より小さいながら再現性のある改善を示した。

続きを読む
CCTest · Blog
FewStepRL:少ステップ拡散モデルを強化学習で微調整する方法
強化学習
cctest.ai
強化学習

FewStepRL:少ステップ拡散モデルを強化学習で微調整する方法

FewStepRLは、少ないサンプリングステップで動作する拡散モデル向けに、既存の強化学習目的を体系的に適応する枠組みです。報酬が微分可能で勾配計算を負担できる場合は報酬勾配型が有効で、それ以外ではDiffusionNFT系が有力な選択肢になります。

続きを読む