マルチエージェントLLMの反省を「検証可能な改善」に変える

マルチエージェントLLMシステムでは、オーケストレーターが大きなタスクを分割し、複数のワーカーに処理を割り当てる。その後、生成された回答をもとに反省を行い、次の試行に活用する構成がよく使われる。しかし、ワーカーはどのように協調すべきか、反省内容をいつ信頼すべきか、誤った経験が共有記憶に残るのをどう防ぐかについては、統一的な説明が十分ではなかった。

研究の中心的な見方

「Bilevel Coordinated Reflection」は、この問題を二層協調ゲームとして定式化する。上位層ではオーケストレーターがタスクを分解し、下位層ではワーカーが局所的な更新を行う。ワーカー間の結合が一定範囲に収まる場合、下位の局所更新ゲームは近似ポテンシャルゲームとして扱える。均衡からのずれは、タスク分解がどれだけ適切だったかによって制御される。つまり、分解は単なる前処理ではなく、システム全体の協調の安定性を決める要素である。

主なポイント

• 協調をゲームとして分析する。 ワーカーの局所的な判断と、システム全体の目的との関係を整理し、分解品質と均衡のずれを結び付ける。
• 反省を確率的な記憶遷移として捉える。 自由形式の反省について有限時間の上界を導き、最悪ケースでその上界がタイトであることを示す。検証可能な持続的損害の条件では、正の下界も得られる。
• 文章だけでは普遍的な検証にならない。 生成されたトランスクリプトしか見ないゲートは、文章が同じでも実際の環境が異なるケースを区別できない。そのため、すべての環境で記憶を改善することはできない。環境に接地した評価なら、この違いを捉えられる。
• リスク低下を記憶採用の条件にする。 SRMAは、候補となる記憶がもっともらしく見えるだけでは採用せず、環境に基づく評価でリスクが厳密に下がった場合にだけ更新する。

校正が成立し、修正につながる確率質量が十分に存在するという条件のもとで、SRMAは正確に収束する。条件によって収束速度は幾何的または多項式的になり、論文はそれぞれの次数が理論上タイトであることを示す構成も提示する。さらに、確率的な評価に対する信頼度ゲーティングや、環境が区分的に変化する場合の再アンカーも扱う。

実験は500件のSWE-benchインスタンスで行われ、Kimiベースの完全なシステムは72.2%、比較対象として示された公開mini-SWE-agentは70.8%の解決率だった。この差は実用上の参考になるが、理論的な仕組みだけの効果を直接示すものではなく、システム全体の構成も含む結果として読む必要がある。

意義と限界

この研究の重要な点は、「説得力のある反省文を生成すること」と「その反省が本当に役立つと検証すること」を分けたことだ。コーディングエージェントや長期稼働する研究支援システムでは、誤った教訓が共有記憶に入ると、後続タスクで繰り返し利用される可能性がある。SRMAは、言語的な自然さではなく、外部評価によるリスク低下を記憶保持の基準に置く。

一方、保証は有界結合、校正、十分な修正確率などの仮定に依存する。現実の運用で信頼できる環境フィードバックを安定して得られるかは、依然として大きな課題である。この研究は万能な実装手順というより、検証可能なエージェント記憶を設計するための理論的な指針と位置付けられる。

出典：Hugging Face Daily Papers