Terminal-Universe:エージェント軌跡を再利用可能なターミナル環境へ
軌跡を環境として読み直す
ターミナルを操作するコードエージェントの利用が広がるにつれ、ツール呼び出しやファイル編集を記録した軌跡も蓄積しています。しかし、軌跡は通常、一度きりのやり取りを保存した固定的なデモです。新しい指示を与えたり、実行結果を確認したり、ユーザーからの追加要望を受けたりすることはできません。エージェントのポストトレーニングに必要なのは、繰り返し問い合わせられ、実行によって評価できる環境です。
QwenチームのTerminal-Universeは、この差を埋めるため、軌跡を環境復元の手掛かりとして扱います。プロジェクトを毎回ゼロから生成するのではなく、記録された操作から元のワークスペースを推定し、その上で新しいタスクや対話を合成します。
主な仕組み
- ファイル操作の再生: 軌跡に含まれるファイルの作成・変更をたどり、エージェントが編集する前の状態を復元します。最初に得られるのは完全なプロジェクトではなく、部分的なワークスペースです。
- 不足要素の補完: 軌跡には、変更されなかったファイルや依存パッケージ、設定が記録されない場合があります。補完エージェントがこれらを追加し、より実行しやすい環境に近づけます。
- タスクの再構成と新規生成: 復元した環境では、元の意図を再現するだけでなく、別のクエリも作成できます。同じコードベースから複数の検証可能なサンプルを得られる点が特徴です。
- 幅の拡張: 関連する環境間の方向性を持つ依存関係を利用し、複数のコードベースをまたぐ問い合わせを合成します。これは実際の開発で必要になるリポジトリ間の連携を意識したものです。
- 深さの拡張: 単一ターンの依頼を、ユーザーエージェントによるフィードバックや要件変更を含む複数ターンのセッションへ拡張します。
結果と意義
公開されたターミナルエージェント軌跡に適用した結果、Terminal-Universeは3.73万件のタスク十分環境を生成しました。このデータでQwen3.5-27Bを教師あり微調整すると、Terminal-Bench 2.1の単一ターン性能は11.9ポイント、EvoCode-Bench v2 MT@4の多ターン性能は13.8ポイント向上したと報告されています。提供された素材には詳細なアブレーションや評価条件が含まれていないため、これらは論文が示した総合結果として捉えるべきです。
本研究の重要な点は、軌跡を単なる正解例から環境復元の設計図へと位置づけ直したことです。ツール操作とファイル変更が十分に残っていれば、一つの対話記録から複数のタスクを生み出し、既存データの利用効率を高められます。
一方で、復元された依存関係が元の環境と一致するとは限らず、合成タスクが元の意図から離れる可能性もあります。したがって今後は、実行可能性の確認、重複排除、タスク品質の評価が重要になります。複数リポジトリを扱う幅と、要件変更に対応する深さを同時に学習できるかが、コードエージェントの実運用に向けた焦点になるでしょう。
コメント
ログイン状態を確認中…
コメントを読み込み中…