HERA、AIエージェントに「行動しない判断」を学習させる

導入

ツールを呼び出し、複数の手順を実行できるエージェントでも、課題にそもそも有効な解が存在しないことを認識できるとは限らない。必要な資源が不足していたり、環境の制約に違反していたりする場合、行動を続けるほど計算資源やツール呼び出しを消費し、誤操作につながる可能性がある。HERA（Harness-Environment Co-Evolution for Reliable Agentic Abstention）は、この「行動すべきか、やめるべきか」という判断を、エージェントの独立した能力として扱う。

HERAの要点

• 拒否判断を明示的に評価する。 HERAが対象とする agentic abstention は、実行不能な課題に対して無理に答えを作らず、適切に停止する能力である。固定された課題集合だけでモデルやハーネスを最適化すると、未知の失敗パターンに弱くなりやすい。
• 可解・不可解の課題対を自動生成する。 まず解ける課題を用意し、実行環境に制御された変更を加えることで、同じ課題構造を保ちながら拒否が必要なケースを作る。これにより、正解を検証できる可解課題と不可解課題の組を構築する。
• ハーネスと環境を同時に進化させる。 失敗が起きると、計画、ツール利用、検証、停止を担うハーネスを修正するだけでなく、その弱点を突く新しい環境や課題も生成する。評価結果を次の学習材料に変える循環が特徴だ。
• 慎重さと実行能力を両立する。 留保評価用の課題では、進化したハーネスにより拒否判断精度が61.7%から83.3%へ上昇した。さらに、解ける課題の完了率も68.3%から76.7%へ改善している。

意義と限界

HERAの重要性は、固定ベンチマークの点数を上げるだけでなく、環境そのものを新しいテストの生成装置として扱った点にある。エージェントの失敗を単なる記録で終わらせず、ハーネスの修正と次の課題の設計に結び付けるため、既知の例を暗記するよりも実運用に近い評価ループを作れる。

報告によれば、最良のハーネスは特定モデル向けの再最適化なしに、19種類の別のLLMへ移植でき、拒否判断精度を平均15.3ポイント改善した。また、小規模モデルでも、より強力なモデルに近い性能を推定85%低いコストで実現できるとしている。これは、信頼性向上の手段がモデルの大型化だけではなく、検証や停止方針、ツール制御にもあることを示す。

一方、提供された素材にはベンチマークの全構成や比較手法の詳細が含まれていない。したがって、数値は論文概要で報告された結果として読むべきで、すべての環境に普遍化することはできない。それでもHERAは、「正しく行動する」だけでなく「行動しない方が正しいと判断する」能力を、訓練・評価・改善できる対象として明確にした。

出典：Hugging Face Daily Papers