AutoEnvScaling、ターミナルエージェントが訓練環境を自動生成

概要

ターミナルエージェントは、コマンドラインからソフトウェアを操作し、開発作業や一部の科学研究タスクを実行できます。しかし、こうしたモデルを強化学習で継続的に改善するには、単なるプロンプト集では足りません。実行可能な環境、明確な指示、正解例、そして結果を判定するテストが必要です。

これらの環境は現在も研究者が手作業で設計することが多く、データの供給量は人間の作業速度に制約されます。AutoEnvScaling は、このボトルネックに対して「環境設計そのものをターミナルタスクにする」という方向から取り組みます。

仕組み

• proposer が環境を作る。 学習中の solver が生成したロールアウトを材料に、Docker イメージ、指示文、解答、テストを含む Harbor タスクを構築します。
• 生成後に自分で検証する。 proposer は環境を実際に起動し、問題を調査して修正します。文章だけでタスクを提案する方式より、実行不能な環境を減らしやすい設計です。
• solver の失敗を次に利用する。 新しい環境での solver の実行結果が、次の生成ラウンドの材料になります。環境は固定されたデータセットではなく、モデルの能力に応じて更新されます。
• 二つの役割を一つのモデルで担う。 より強い設定では、同一モデルが環境生成者と問題解決者の両方として動作し、再帰的な自己改善を試みます。

報告された結果

論文概要によると、AutoEnvScaling はプロンプトだけで環境を生成する方式と比べ、有効環境の割合を最大25倍に高め、1件の有効環境あたりのコストを最大75％削減しました。GPT-5.6-sol から生成した環境で Qwen3.5-35B-A3B を訓練した実験では、対応する Tmax ベースラインに比べて Terminal-Bench 2.1 のスコアが4.3ポイント上昇しています。

さらに、Qwen3.6-35B-A3B が proposer と solver の双方を担う実験では、Terminal-Bench 2.1 が12.2ポイント向上し、Terminal-Bench 4.0 は1.6から3.2になりました。これらは論文の実験条件で報告された値であり、あらゆるモデルやベンチマークにそのまま一般化できる結果とは限りません。

意義と課題

この研究の重要性は、タスクの文章を自動作成することだけではありません。ターミナル環境には、依存パッケージ、ファイルシステム、ツールの挙動、隠れた状態、合否判定の条件など、文章だけでは扱いにくい要素があります。生成エージェントが実際に環境を動かしてデバッグできれば、人間の環境設計作業に近い検証ループを自動化できます。

手法はソフトウェア開発だけでなく、コンピューター操作、専門業務、GPUカーネルプログラミングにも適用されたとされています。一方で、似たタスクばかり生成する、弱いテストを通過してしまう、solver の能力と難易度が合わないといった問題は残ります。今後は生成数だけでなく、環境の多様性、テストの頑健性、未知タスクへの転移、報酬ハックへの耐性も検証する必要があります。

AutoEnvScaling は、強化学習におけるデータ不足を、エージェント自身が実行できるエンジニアリング課題として捉え直します。フィードバックが安定して機能すれば、手作業で問題集を増やす訓練から、環境が継続的に進化する訓練へ移行する可能性があります。

出典：Hugging Face Daily Papers