HybridAgent、潜在空間で考えテキストで行動するAIエージェント

導入

現在の大規模言語モデルによるエージェントは、推論と外部環境への操作を基本的にテキストで行う。検索、コード実行、API呼び出しの前に、モデルは推論過程をトークン単位で出力しなければならない。この方式は処理の追跡やデバッグに向いている一方、長いタスクではコンテキスト、遅延、推論コストが増えやすい。

潜在空間で推論すれば、内部処理をよりコンパクトにできる可能性がある。しかし、潜在状態から直接ツールを呼び出すことは難しく、何を考えたのかを人間が確認するのも容易ではない。論文「Hybrid Reasoning Agents」は、この二つの方向を組み合わせる HybridAgent を提案する。

主な仕組み

• 二つのモードを動的に切り替え：外部環境にすぐ影響しない内部計算は潜在空間で行い、検索やコード実行などが必要になった段階でテキストに切り替える。二つのモードは別々のエージェントではなく、一つの生成プロセスに組み込まれる。
• HybridLink：軽量な接続機構が、テキスト状態と潜在状態の遷移を調整する。これにより、既存の言語モデルを混合推論の流れに適応させることを狙う。
• 連続ワーキングメモリ：潜在推論、テキストでの行動、ツールからの観測を複数ターンにわたって保持する。モードを変えても、混合された文脈を失わないことが設計上の目標である。
• 確認可能性の維持：計算の一部を潜在空間に移しながらも、推論と行動の読める軌跡を残すよう設計されている。潜在推論を完全なブラックボックスにしない点が特徴だ。
• 専用の後学習：HybridSFTはモデルにHybridLinkとツール統合生成の協調を教える。その後、HybridRLが、いつ潜在空間で考え、いつテキストで行動すべきかを学習させる。

評価と報告された結果

論文では三つのモデル規模を使い、数学、科学、医学、検索、エージェント推論を含む11のベンチマークで評価している。概要によれば、テキスト型と潜在型の手法を含む先端LLMエージェントやエージェントフレームワークと比べ、総合性能は10.4%向上した。また、トークン使用量は35.5〜54.7%削減され、推論速度は1.8〜2.6倍、コストは2.7〜3.7分の1になったと報告されている。これらは論文が示した集計結果であり、実際の差はモデル規模、タスク、ツール構成によって変わり得る。

意義と今後の課題

この研究の意義は、単に出力テキストを短くすることではない。内部計算と外部行動の役割を分け、必要なときだけ言語を介して環境と接続するという、エージェントの生成方式そのものを見直している。長期的なタスクでは、不要な説明トークンを減らしながら、従来のツール互換性を保てる可能性がある。

一方、モード切り替えの安定性、潜在状態と後続行動の整合性、そして「読める軌跡」が内部処理をどこまで説明できるかは、今後も検証が必要だ。公開されたコードとデータは、結果の再現や混合推論方策の研究に利用できる。

出典：Hugging Face Daily Papers