AdaExploreBench、変化する環境でLLMエージェントの探索と適応を評価

導入

LLMエージェントの利用場所は、固定された質問応答から、未知で変化する環境へ広がっている。そこでは、提示された情報から答えを導くだけでは不十分だ。エージェント自身が環境の仕組みを調べ、どの行動が有益な証拠を生むかを判断し、過去の知識がまだ有効かを確認しなければならない。Hugging Face Daily Papersで紹介されたAdaExploreBenchは、この能力を測るためのベンチマークである。

ベンチマークの要点

• 隠されたルールを推測する。 結果を決める環境の規則は直接示されず、エージェントは相互作用を通じて証拠を集め、背後のルールを推論する。
• 通知なしのルール変化を導入する。 潜在的な規則は途中で変わるが、システムは明示的に知らせない。性能低下や矛盾する結果から、以前の理解が古くなったと判断する必要がある。
• 推論だけでなく探索も評価する。 有用な手がかりを与えられた後の回答能力に加え、次に何を試すべきかを選ぶ能力も評価対象になる。
• 現在のモデルには課題が残る。 8種類の主要LLMを用いた実験では、GPT-6 Solの校正精度は61.9%だった。十分な証拠を与える、またはルール変化をなくすと、平均性能は約10%向上した。

研究上の意味

この結果は、「推論できること」と「環境を学習できること」が同じではないと示している。モデルは、重要な証拠が提示されれば適切に考えられる一方、何を調べるべきかを自ら決めたり、蓄積した知識の有効性を再確認したりすることには苦戦する可能性がある。

長時間動作するエージェントにとって、これは実用上重要な問題だ。環境が変わった後も古い規則を使い続ければ、表面上は一貫した動作をしていても、実際の信頼性は低下する。今後の評価では、最終的な正解率だけでなく、探索にかかったコスト、証拠の質、信念更新の速さ、失敗の検知能力も測る必要がある。能動的な情報収集、フィードバック監視、必要に応じた世界モデルの再検証が有力な改善方向になる。

公開された素材には、全タスク構成や詳細な評価手順、モデル別の比較は含まれていない。そのため、今回の結果は現状のボトルネックを示す研究上の手がかりとして捉えるのが適切だ。

出典：Hugging Face Daily Papers