T1：長期ターミナルタスクに挑む強化学習エージェント

長期タスクで問われるもの

AIエージェントの利用が、短い回答の生成からコーディングや科学的発見のような長期タスクへ広がるにつれ、評価すべき能力も変わりつつあります。実際のソフトウェア作業では、コードベースを調査し、依存関係を導入し、複数のファイルを編集し、テストを実行し、失敗の原因を修正するという流れを何度も繰り返します。途中の小さなミスが後の段階で問題になるため、エージェントには目標を維持しながら行動を修正する能力が必要です。

Tencent Hunyuanの研究チームが提案したT1は、このようなターミナル作業を対象とするモデルです。総パラメータ数は1220億の混合専門家（MoE）モデルで、静的なテキストだけで学習するのではなく、クラウドサンドボックス内の実際のシェルを操作します。1タスクあたり300回を超えるツール呼び出しにも対応し、反復的な開発作業に近い環境で学習します。

検証器を使ったプロセス報酬

T1は強化学習によって訓練されます。各タスクには固有の検証器が用意され、実行結果によって完了度を判定します。さらに、軌跡の中で通過した検証器の数をそのままスコアにする密なプロセス報酬を採用しました。タスクを最後まで完了できなかった場合でも、途中の有効な進展が学習信号になります。

ただし、長い軌跡では報酬の設計だけでなく、ロールアウトと最適化の整合性も重要です。サンプリング時と学習時でトークンや専門家の選択が少しでも変わると、実際にモデルが行った行動とは異なる軌跡を使って更新することになります。MoEでは、専門家のルーティングの違いがその後の確率にも影響します。

ずれを抑える三つの工夫

T1の訓練レシピは、主に次の要素から構成されています。

• 強いウォームスタート：actor-critic学習の初期を安定させ、長期強化学習へ移行しやすくします。
• TITO構築：ロールアウトで実際にサンプリングされたトークン識別子を使い、ターンの境界で生じるずれを修正します。
• R3ルーティング再生：各トークンと各MoE層で選ばれた専門家を記録し、学習時に同じルーティングを再生します。

論文によると、TITOとR3を組み合わせることで、学習と推論の対数確率の差は0.021から0.013へ縮小しました。損失計算の領域では、トークンのずれがゼロになったとも報告されています。これは、ツールを使うエージェントでは、報酬関数だけでなく「サンプリングした行動をどれだけ忠実に再現できるか」が性能に直結する可能性を示します。

評価結果と意味

研究チームは、Terminal-Bench 2.1とは分離されたシードと合成タスクを訓練に使い、ベンチマーク固有の記憶による改善を避けようとしています。報告された結果では、後学習によってベースモデルのTerminal-Bench 2.1解決率は43.8%から64.0%に上昇しました。Long-Horizon Terminal Benchでは27.9%に達し、論文中で比較されたGPT-5.4とGLM-5.1を上回ったとされています。

T1の意義は、モデル単体よりも、長期ターミナルエージェント向けの一連の訓練方法を示した点にあります。実行環境は行動を現実の結果に結び付け、検証器はタスク達成度を測定し、トークンとルーティングの再生は更新時の軌跡を安定させます。長期タスクが解決済みになったわけではありませんが、今後のソフトウェア開発や科学ワークフローでは、モデル規模だけでなく、信頼できる相互作用基盤が重要になることを示す結果です。

出典：Hugging Face Daily Papers