ターミナルエージェントの学習を支える「環境進化」

背景

ターミナルエージェントは、コマンド実行、ファイル操作、ソフトウェアの設定などを、複数ターンの対話を通じて完了しなければならない。そのための訓練環境には、実際に操作できることだけでなく、結果を機械的に検証できることも求められる。しかしモデルの能力が高まるほど、ゼロから合成した単純な環境はすぐに簡単になり、強化学習に与える情報量が減ってしまう。

提案された方法

従来の環境生成は、課題を新規に作ることから始まる。高性能なモデルには難易度が足りない場合があり、近年はオンラインのrolloutで弱点を見つけ、現在の学習可能領域に近い環境を生成する協調進化も研究されている。ただし、現在の方策に依存するon-policyデータは、汎化や継続的な学習信号の供給に制約を与える可能性がある。

本論文の「環境進化」は、環境の難易度をoff-policyで段階的に引き上げ、訓練中に世代ごとに投入する。著者らは多ターン学習の目的から、難易度に影響する三つの進化方向を導出し、それらをループ設計された多エージェント・ハーネスで実装した。つまり環境を一度だけ作るのではなく、対話構造や解決に必要な条件を保ちながら、次の世代へ更新していく。

この考え方では、最終結果に到達できたかだけでなく、そこに至る行動列、検証条件、全体の解決過程も重要になる。これは長期タスク向けのカリキュラム学習に近い。目標は検証可能なまま、必要となる推論、操作、調整の負荷を少しずつ高めていく。

実験結果

Hy4 preview、Claude Opus 5、GPT-5.6 Solを用いた定量的なrollout実験では、進化した環境が一貫してより難しい課題を生成した。さらにQwen3.6-27BとQwen3.6-35B-A3Bで単純な長期強化学習を行ったところ、Terminal-Bench 2.1でそれぞれ14.4ポイント、18.0ポイントの性能向上が報告された。

ただし、これは環境進化が訓練とベンチマーク性能に有効であることを示す結果であり、すべての実タスクに同じ効果があることを意味しない。検証の信頼性、実際の失敗パターンをどこまでカバーできるか、合成環境と現実の利用場面の差は、今後も確認が必要だ。

意義

この研究の重要性は、課題数を増やすだけでなく、時間の経過に合わせて課題の難しさを管理する点にある。長期強化学習では、モデルが強くなるほど、固定された環境から得られる信号は乏しくなる。世代単位のスケジューリングと多エージェントによる環境設計は、検証可能なインタラクション訓練を拡大するための一つの方向を示している。

今後のターミナルエージェント開発では、モデルの規模やコンテキスト長だけでなく、生成、検証、難易度制御、訓練計画をつなぐ環境基盤が競争力を左右する可能性がある。

出典：Hugging Face Daily Papers