LiveMACE、収益だけでなくLLMエージェントの能力過程を診断

導入

LLMエージェントを評価する際、タスクを完了したか、収益を得たか、他のモデルより上位だったかといった最終結果は分かりやすい指標です。しかし、エージェントが変化する環境の中で継続的に行動する場合、結果は行動だけでなく外部条件にも左右されます。成功したからといって安定した能力があるとは限らず、失敗が中核機能の欠如を意味するとも限りません。

LiveMACEはこの問題に対し、プロセスを重視する評価枠組みを提案します。LiveMACEBenchでは、暗号資産と米国株式市場でシミュレーション取引を行わせ、意思決定とエージェント間のやり取りを記録します。将来の市場イベントは静的な訓練データに含まれていないため、固定された問題集よりも、未知の条件への対応を観察しやすいという考え方です。

主なポイント

• 最終結果だけを見ない：実現収益に加えて、その結果に至る意思決定トレースを分析します。
• 4つの機構を評価：ツール利用、永続メモリ、ルール遵守、マルチエージェント協調を対象にします。
• 収益と能力は乖離し得る：高い収益が、特定の機構を強く使いこなしていることを必ずしも意味しません。
• 似た結果にも異なる経路がある：同程度の成果でも、ツールやメモリ、協調機能の使い方は大きく異なる可能性があります。
• 利用可能性と有効利用を分ける：機構にアクセスできること、実際に効果的に使うこと、そして成果につながることは別の指標です。

意義と影響

LiveMACEの重要性は、金融市場を新たなランキングの場にした点だけにはありません。継続的に変化する環境を、エージェントの弱点を調べる診断環境として利用した点にあります。トレースを確認すれば、必要なツールを呼び出さなかったのか、返された情報を誤って解釈したのか、あるいは後続の判断に反映できなかったのかを切り分けられます。メモリについても、機能が搭載されていることと、過去の情報を適切に検索して利用することは同じではありません。

この発想は取引以外にも応用できます。長期的なコーディング、運用判断、複数エージェントの連携では、行動が次の状況を変えるため、最終結果だけの評価は不十分です。結果と、その結果を生んだ仕組みを同時に見る必要があります。

もっとも、市場シミュレーションの成績を一般知能や安定した投資能力と同一視することはできません。30日間の評価にも限界があります。LiveMACEが示すより堅実な教訓は、動的環境で活動するエージェントについて、成果、機構の利用、基礎能力を分けて測定すべきだという点です。

出典：Hugging Face Daily Papers