SwarmEvolve、潜在空間で協調するエージェント群による科学探索

概要

大規模言語モデルを使った進化的なプログラム探索では、候補コードを生成し、評価し、優れた案を変異・交叉させる処理を何度も繰り返します。この方法は数学や科学計算に応用できますが、各ラウンドで長い推論テキストを大量に生成しなければならず、計算コストと時間が膨らみます。また、文章として似たアイデアが集まり、探索の多様性が失われる可能性もあります。

SwarmEvolveは、このループの中心をテキストから潜在空間へ移そうとします。比較的小さなエージェントを多数動かし、すべての中間推論を文章として出力するのではなく、モデル内部の表現を使って考えや情報を受け渡します。

主な仕組み

• 複数のスウォーム：数百の低コストエージェントを複数の群れに分けます。各スウォームが異なる視点から同じ問題を探索することで、候補の幅を広げます。
• 潜在空間での推論：毎回、長いチェーン・オブ・ソートをテキストとしてデコードする必要を減らします。これにより、多数のエージェントを並列に動かしやすくする狙いがあります。
• KVキャッシュによる通信：エージェントは長い説明文を交換する代わりに、注意機構で使われるKVキャッシュを渡します。要約エージェントはスウォーム内のメンバーから結合されたキャッシュを受け取り、新しい候補や方向性を作ります。
• 隠れ状態による新規性フィルター：エージェントの隠れ状態ベクトル間の距離を直接比較し、より異なる表現を持つ案を残します。テキストの表面的な違いではなく、内部表現を多様性の目安にする点が特徴です。

つまり、候補の生成、情報共有、アイデアの交叉の一部を、可読テキストの外側で処理します。最終的なプログラムは従来どおり問題固有の評価器で採点されますが、頻繁に発生する探索と通信はテキストだけに依存しません。

結果と注意点

論文の要約によれば、SwarmEvolveは数学的発見と科学計算の21問題で最高の平均スコアを得ました。既存の最先端フレームワークが約60分で到達したベストスコアに、中央値3〜8分で到達したとされています。また、Qwen3 8Bを使った構成が、複数の問題でAlphaEvolveがフロンティアモデルによって最初に見つけた解を改善したと報告されています。実験にはQwen3 8B、14B、32Bが含まれます。

この結果は、単体のエージェントを大きくするだけでなく、比較的小さなエージェントを広く探索させることで成果を得られる可能性を示します。ただし、壁時計時間が短いことと、総コストが必ず低いことは同じではありません。並列計算資源、KVキャッシュの保存・転送負荷、候補プログラムの評価コストが結果を左右します。

さらに、隠れ状態の距離は新規性そのものではなく、あくまで代理指標です。距離が大きくても、アルゴリズム上は同じ発想かもしれません。潜在空間での交叉がどのように最終コードへ影響したのかを追跡しにくい点も、説明可能性の課題になります。

意義

SwarmEvolveの面白さは、エージェントの数を増やすだけでなく、エージェント間通信の形式を再設計したことにあります。高頻度の探索は潜在表現で低遅延に行い、最終コードや説明、人的な確認に必要な部分だけをテキストとして出力するという役割分担です。

科学向けAIでは、評価器を自動化できるプログラム合成や最適化問題に適した方向性になり得ます。一方で、より広い科学課題でも同じ速度・品質・コストの優位性が成立するか、スウォームが長期的に同じ領域へ収束しないか、異なるモデル間でキャッシュを扱えるかは、今後の検証を待つ必要があります。

出典：Hugging Face Daily Papers