AgentCompass：エージェント能力評価のための統一基盤

導入

大規模言語モデルは、単に質問に答えるシステムから、ツールを使い、環境とやり取りし、複数ステップのタスクを進めるエージェントへと進化しています。その一方で、こうしたエージェントをどう評価するかは大きな課題になっています。OpenCompass が公開した AgentCompass は、この問題に向けたオープンソースの評価インフラです。

現在のエージェント評価では、個々のベンチマークが独自の実行コード、環境接続、分析手順を持つことが多く、再現や拡張に手間がかかります。新しいタスクやモデルを試すたびに似たような実装を繰り返す必要があり、研究結果の比較も難しくなります。

主なポイント

• 三つの構成要素に分離：AgentCompass は評価を Benchmark、Harness、Environment に分けて設計しています。Benchmark はタスクと指標、Harness は実行と制御、Environment はエージェントが相互作用する場を担います。この分離により、複雑な実行ロジックを毎回作り直さずに構成を変更できます。
• エージェント向けの評価設計：エージェントの性能は、単発の回答精度だけでは測れません。行動の連鎖、ツール利用、環境からのフィードバック、中間状態が重要になります。AgentCompass はこのような過程を含む評価に焦点を当てています。
• 耐障害性を持つ非同期ランタイム：エージェント評価は時間がかかり、途中で失敗する可能性も高くなります。非同期かつ耐障害性のあるランタイムは、大規模な評価を安定して進めるうえで重要です。
• 軌跡分析ツール：最終スコアだけでは、エージェントがどのように成功または失敗したのか分かりません。AgentCompass は行動軌跡を分析する機能を備え、reward-hacking のような微妙な失敗モードを見つけやすくします。
• 幅広いベンチマーク対応：論文概要によれば、20 を超えるベンチマークと五つの能力次元をネイティブにサポートしています。

意義と影響

AgentCompass の重要性は、新しい単一スコアを出すことではなく、評価作業を再利用可能なインフラとして整理する点にあります。研究者は新しいベンチマークや環境を追加しやすくなり、異なるモデルやエージェント設計をより公平に比較しやすくなります。

また、エージェントの失敗は結果だけでなく過程に現れることが多いです。誤ったツール選択、無意味な探索、ループ、評価報酬だけを狙う行動などは、軌跡を見なければ把握できません。AgentCompass の分析機能は、こうした透明性を高めるための基盤になります。

もちろん、評価基盤が整っても、タスクや指標そのものの妥当性は別途検討が必要です。それでも AgentCompass は、より再現性の高いエージェント研究に向けた実用的な土台を提供しています。

出典：Hugging Face Daily Papers