ツール出力はテキストでなくてよい：潜在トークンでエージェントの文脈を圧縮

導入

複数ステップで動くLLMエージェントでは、ツールを呼び出すこと自体よりも、返された結果をそのまま文脈へ追加し続けることが大きな負担になります。検索結果、ページ断片、途中の観測には、必要な事実だけでなく重複、書式、無関係な文章も含まれます。やり取りが長くなるほど、エージェントは大量のテキストから次の行動に必要な情報を探さなければなりません。

清華大学の研究チームが提案したCoca-Cola（Context Compression via Continuous Latent Tokens）は、このテキスト中心の設計を見直します。ツールの観測結果を完全な文章として読ませるのではなく、連続的な潜在トークンへ圧縮し、エージェントの入力埋め込み空間へ組み込みます。

文章の再現ではなく、行動の維持

既存のトークン削除や要約も文脈を短くできますが、最終的には離散的なテキスト表現に依存します。Coca-Colaは原文を再現したり、人間が読める要約を作ったりすることを目標にしません。重要なのは、エージェントが次に何をするかを決めるために必要な情報を残すことです。

そのために導入されたのがAction-Preserving Trainingです。完全な観測を見た場合と、圧縮された観測を見た場合について、エージェントが選ぶ次の行動の分布を比較し、両者が近づくよう圧縮モデルを学習します。対象となるエージェントは固定され、圧縮器がそのエージェントにとって決定上重要な情報を学びます。

この発想では、検索結果の重複や不要な書式を保存する必要はありません。再検索するか、どの情報を追跡するか、追加操作を行うか、回答へ進むかといった判断に影響する情報が残っていればよい、という設計です。潜在トークンは人間には読みにくくても、モデルにとっては意思決定のためのインターフェースになります。

実験結果と注意点

論文では、Natural Questions、TriviaQA、2WikiMultiHopQA、HotpotQAの4つのQAベンチマークを対象に、ウェブ検索エージェントを評価しています。モデル系列はQwenとGLMの2種類です。報告された結果では、エージェント全体のトークン消費を70.01～89.24%、エンドツーエンドの実行時間を24.45～55.97%削減しました。また、評価されたすべての設定で、未圧縮のエージェントより回答のEMとF1が高くなりました。

これは、文脈を短くしても性能を保てるだけでなく、ノイズを減らすことで性能が上がる可能性を示します。ただし、評価はウェブ検索QAと2つのモデル系列に限定されています。コード実行、データベース操作、長期計画、マルチモーダルツールへ同じ効果が移るかは、今後の検証が必要です。

また、潜在表現には可読性の課題があります。圧縮器が重要な情報を落とした場合、通常の要約文より原因を追跡しにくい可能性があります。圧縮率だけでなく、タスク間の転移、失敗時の診断、監査可能性も実用化の条件になります。

意義

Coca-Colaは、ツール出力を「モデルが読む文章」ではなく「次の行動を決めるための表現」と捉えます。もし他のエージェント作業にも広がれば、長いワークフローをより小さな文脈と推論コストで処理できる可能性があります。公開されたコードは、別のツール利用環境でこの考え方を検証する基盤にもなります。

出典：Hugging Face Daily Papers