CLASHarness：マルチエージェントの対立処理を検証可能に評価

はじめに

複数の視覚言語モデルがファイル、ウェブページ、業務システムを共同で操作する場合、重要なのは指示を実行できるかだけではありません。どの情報を信頼すべきかを判断できるかが問われます。あるサブエージェントは古い状態を報告し、別のエージェントは矛盾した指示を出すかもしれません。共有ファイル、ロック、権限をめぐる競合も起こり得ます。信頼できるシステムには、他のエージェントの出力を事実ではなく、検証すべき主張として扱う能力が必要です。

CLASHarnessは、この能力を測るために提案されたフレームワークです。論文は、既存のコンピュータ操作ベンチマークの多くが、情報の一貫した協調環境を前提にしており、実際のマルチエージェント運用との間に評価上の空白があると指摘します。

主なポイント

• 物語の作成から検証可能な課題生成へ：階層的なシナリオ計画と8段階の検証マイクロパイプラインを組み合わせ、古い情報、矛盾した指示、共有資源の競合などを生成します。23のモジュール型プラグインも備えます。
• 画面を描く前に事実を固定：決定的な視覚情報を先に確定することで、自由生成による物語の逸脱、答えの漏洩、実行不能な採点基準を抑えます。
• 実行軌跡から採点器を作成：サンドボックスで参照軌跡を実行し、決定論的なコード検査と意味的な判定を組み合わせた評価器をコンパイルします。著者らは、課題が構成段階から解決可能になると説明しています。
• 多様な操作領域をカバー：20の業務領域にまたがる600件の実行可能な多ラウンド課題、60のパッケージ、7970個の4K視覚証拠、3284件の必須チェックを含みます。

評価から見える差

15の最先端モデルを評価した結果、サブエージェントの報告と現在の環境が食い違う場面で、能力の低いモデルは誤った報告をそのまま採用しやすいことが示されました。一方、より強いモデルは画面上の証拠を確認し、実際の状態を確かめてから行動する傾向があります。これは協調能力が単なる言語的な連携ではなく、情報源の照合、情報の鮮度の把握、観測可能な証拠に基づく判断を含むことを示唆します。

意義

CLASHarnessの意義は、対立解決を曖昧な物語ではなく、再現可能なインタラクティブ評価へ変えた点にあります。事実の事前固定、参照軌跡の実行、自動生成された評価器により、手作業での課題作成や採点の負担を減らし、モデル間比較の解釈もしやすくなります。

実運用では、メッセージ交換を改善するだけでは不十分です。エージェントには共有環境を確認し、古い情報を疑い、権限や状態が一致しない場合に実行を止める仕組みが求められます。マルチエージェント操作の信頼性は、協調と懐疑をどう両立するかにかかっています。

出典：Hugging Face Daily Papers