DART-SD、多ターンのツール利用をトポロジーとして学習

導入

多ターンのツール利用では、同じタスクを完了する手順が一つとは限らない。たとえば複数の独立したサブタスクがある場合、エージェントは最初のサブタスクを終えてから次へ進んでもよいし、順番を入れ替えてもよい。どちらも最終状態に到達できるなら、片方だけを唯一の正解として扱うのは不自然である。

しかし、一般的な教師あり微調整や軌跡単位の強化学習は、デモンストレーションを一本の系列として扱うことが多い。ByteDanceの研究チームが提案したDART-SDは、このずれを「トポロジーの崩壊」として捉える。モデルは無効な操作をしたのではなく、単に記録された順序と異なるだけで罰を受ける可能性があり、結果として方策の多様性や探索後の回復能力が損なわれる。

DART-SDの仕組み

• 実行過程をグラフ化する。 Interaction-State Transition Graph（ISTG）は、ツール呼び出しや推論によって変化する状態をノードとし、状態間の遷移をエッジとして表す。順序に依存しないサブタスクがあると、複数の経路が分岐し、後で合流するダイヤモンド型の構造が現れる。
• 失敗の起点を特定する。 自律的なロールアウトから、Critical Topological Breakpoint（CTB）を検出する。これは最終的な失敗結果そのものではなく、そこから先の経路が成功可能な領域から外れ始めた地点である。
• 回復例を検索する。 CTBが決まると、成功した実行経路に基づく回復参照を取得する。最初からデモ全体を再現させるのではなく、現在の状態からどう続ければよいかを学習させる。
• 後半だけを蒸留する。 学習損失はCTBの後に生成された回復ステップへ限定する。すでに正しい前半には破壊的な勾配更新を加えない。これにより、全軌跡の強制模倣から局所的な修正へと学習方針を切り替える。

意義と残る課題

提供された資料によると、DART-SDは5つのツール利用ベンチマークと2つのモデル規模で評価され、強力な全軌跡SFT・RLベースラインを一貫して上回った。また、Qwen3-8Bの学生モデルが、いくつかのベンチマークでより大きな教師モデルを上回ったという。ただし、具体的なスコアやタスク別の内訳は資料に含まれていないため、改善幅の評価には論文本文の確認が必要である。

この研究の重要性は、エージェントの学習対象を単純な文字列ではなく、状態の探索構造として見直した点にある。実運用でも、ツールの呼び出しに失敗したとき、タスク全体を最初からやり直すより、現在の状態から修復できる方が効率的だ。正しい前半を維持し、問題のある箇所だけを直す考え方は、その挙動に近い。

一方で、ISTGの構築、CTBの判定、成功経路の検索が不正確なら、局所修正の効果も限定される。より長く開放的なタスクで、これらの処理コストと安定性を検証することが今後の課題になる。

出典：Hugging Face Daily Papers