SteerDistill、低ビットLLMエージェントの失敗を閉ループで修正

概要

大規模言語モデルを低ビット量子化すれば、推論時のメモリ使用量や計算コストを抑えやすくなります。しかし、ツール呼び出しや環境操作を伴うLLMエージェントでは、小さな判断ミスがタスク全体の失敗につながります。タスクの条件を一つ見落としたり、現在の環境状態を誤認したりすると、その後の状態遷移が正しい経路から外れてしまうためです。

SteerDistillは、このような失敗を単なる出力品質の低下として扱わず、学生モデルが実際に行った行動のずれとして修正します。

学生の失敗を起点にした閉ループ

通常のオフライン蒸留では、学習データに学生モデル固有の失敗コンテキストが含まれていない可能性があります。一方、学生自身に正しい修正を作らせても、量子化によって能力が制限されているため、十分な解決策を生成できない場合があります。

SteerDistillの流れは次の通りです。

• 失敗したロールアウトを確認する：量子化された学生を環境内で実行し、成功した全精度モデルの経路から外れた応答や状態遷移を特定します。
• 教師が再試行を導く：凍結されたBF16教師が失敗時のコンテキストを見て、学生に応答を作り直させます。
• 実行結果で指導を更新する：修正案を環境で実行し、文章がもっともらしいかではなく、実際に行動が改善したかを確認します。まだ失敗していれば、教師は新しいフィードバックをもとに指導を更新します。
• 修正を学生へ内在化する：文脈蒸留では、修正されたターンでは教師に導かれた学生の予測を、それ以外のターンでは全精度教師の予測を学習します。

重要なのは、教師がすべてのタスクについて理想的な軌跡を一から作ることではありません。学生が実際に露呈させた問題に局所的に介入し、その介入が環境上で機能したかを確認する点にあります。これにより、単なるテキスト模倣ではなく、状態と行動の関係に基づく監督が可能になります。

実験結果と影響

5つのエージェントベンチマークと3種類のモデルによる評価では、W4A16条件で最も強い量子化ベースラインを平均1.67〜2.18ポイント上回り、BF16との差を1ポイント以内に抑えました。τ²-BenchではQeRLより成功率が1.84ポイント高く、学習に必要なGPU時間は67%少なく、成功した軌跡も量子化ベースラインより短くなりました。Qwen3-8BのW2A16実験では、比較対象となった量子化手法の中で最高の平均スコアを達成しています。

この結果は、量子化による失敗の一部が、知識そのものの消失ではなく、重要な局面での行動のずれである可能性を示します。学生自身の失敗コンテキストを観察し、環境で有効性を検証した修正を蒸留すれば、そのずれをモデル内部の能力として学習させられます。

一方、学習時には全精度教師と実行可能な環境が必要であり、すべてのタスクに同じように適用できるとは限りません。それでも、低コストなエージェントを作るうえで、最終回答を模倣するだけでなく、失敗の原因となった判断を修正してから自律動作へ移すという設計は、実用的な示唆を持っています。

出典：Hugging Face Daily Papers