FACET、実行状態を基盤に端末エージェントのタスク合成を改善

導入

端末上で動作するAIエージェントを訓練するには、シェルコマンドを生成させるだけでは不十分です。訓練タスクそのものが実行可能であり、正しく判定できなければなりません。一般的な端末タスクは、自然言語の指示、初期化された環境、参照解法、実行可能な検証器から構成されます。これらが異なる前提で作られると、タスクが解けなかったり、正しい解法が失敗と判定されたりします。

FACET（Fine-grained Agentic Construction of Executable Tasks）は、このデータ構築上の問題に取り組む枠組みです。複数段階の合成で失われがちな目標、依存関係、状態遷移、手順上の制約を保持しながら、最終的な成果物同士の整合性を確保することを目指します。中心となる考え方は、実行環境を後から付け加えるのではなく、タスク合成の共通基盤として扱うことです。

主な仕組み

• 元の意図を再構成する。 関連するエージェント技能を、情報量のある一貫したシナリオにまとめます。これにより、段階的な変換で要求事項が抜け落ちるリスクを抑えます。
• 先に環境を実現・修復する。 コンテナの状態を構築し、実行を通じて問題を修正してから、指示、解法、検証器を生成します。修復済みの状態が共通の根拠になります。
• 実行して整合性を確認する。 解法が実際の環境で動くか、検証器が意図した成果を認識できるかを実行ベースで調べます。
• 必要な部分だけ修正する。 問題が特定の成果物に限られる場合、タスク全体を作り直さず、その部分を対象に修復します。有効な生成結果を維持しやすい点が特徴です。

意義と影響

合成データのパイプラインでは、タスク説明、解法、評価スクリプトを互いに独立した出力として扱うことがあります。しかし、長い端末作業では、ファイル、依存関係、中間状態、操作順序が積み重なります。一つの前提がずれるだけで、見かけ上は妥当なタスクが無効になる可能性があります。

FACETは、これらの要素が交わる場所を実行環境に置きます。指示は何を達成すべきかを示し、参照解法は一つの実現方法を示し、検証器は結果を判定します。そして環境が、三者が共有すべき実行上の事実を提供します。つまり、タスクの妥当性を個別の文章やスクリプトではなく、全体の整合性として扱う設計です。

提供された要約によれば、FACETは実行可能な検査を密に含む複雑な端末タスクを生成できます。そこから集めた成功軌跡は、データ効率のよい教師信号として利用され、複数規模のモデルを微調整するとTerminal-Bench 2.1で一貫した改善が見られたとされています。代替的な生成方式との分析も、タスクの妥当性と解法・検証器の整合には、環境を基盤にした構築が重要だという見方を支持しています。

ただし、今回利用できるのは主に要約であり、タスク数、改善幅、修復コストなどの詳細は示されていません。定量的な評価は本文で確認する必要があります。それでもFACETは、端末エージェント用データセットに対して、元の意図を保ち、すべての実行成果物を同じ状態に従わせるという明確な指針を示しています。

出典：Hugging Face Daily Papers