CLEが検証する、LLMエージェントの本当の継続学習能力

導入

現在のLLMベンチマークの多くは、目の前のタスクを解けるかどうかを測定する。しかし、長期間にわたって仕事をするエージェントにとって重要なのは、単発の正解だけではない。過去の成功や失敗から教訓を取り出し、次の仕事に安定して生かせるかどうかが本質になる。Continual Learning Exam（CLE）は、この「経験から成長する能力」を正面から評価するために設計された。

CLEの仕組み

CLEは50人以上の分野専門家の協力で作られた。人間が作成した120の専門職タスクを収録し、それぞれを5段階の進行型ラダーに分けている。合計600レベルで、89職種、12の職業領域をカバーする。評価環境には約2万4,000個の実世界ファイル、19の状態を持つアプリケーション、1万6,000件を超える人手作成の評価基準も含まれる。

このラダー構造がCLEの中心だ。エージェントは現在のレベルを通過しなければ、次のレベルに進めない。後半の課題は、単に難しい問題になるだけではなく、以前の作業で獲得した知識、手順、スキルを再利用し、さらに発展させることを要求する。つまり、優れた一回限りの回答ではなく、経験を持続的な能力へ変換できるかが問われる。

提出物は、人間が作成したルーブリックに基づいて評価エージェントが判定する。研究では、1回の提出で終了する設定と、失敗後に診断的フィードバックを受け、1回だけ修正できる設定を比較した。これは、現実の仕事に近い実行、振り返り、改善のループを簡略化したものだ。

主な結果

• 最先端モデルとエージェント構成を組み合わせた17パターンを評価。
• フィードバックと1回の修正により、完了率の中央値は5.3ポイント上昇。
• 最も高いシステムでも、全レベルの完了率は47.7％。
• 5段階すべてを完了したタスクは23.3％にとどまった。

この結果は、局所的な能力と持続的な学習能力の間に差があることを示している。ある課題をうまく処理できても、その教訓を次の段階へ確実に持ち越せるとは限らない。フィードバックは有効だが、現在のエージェントが長期的に再利用可能なスキルを自律的に形成できることを示すには不十分だった。

意義と影響

CLEは、メモリ、スキルの再利用、経験の移転、再帰的な自己改善を一つの評価枠組みにまとめる。研究者は、システムが有用な文脈を保持できるか、繰り返す失敗を診断できるか、ある仕事で学んだ方法を後続の仕事に生かせるかを、より具体的に検討できる。

もちろん、結果はツール利用、エージェントの設計、フィードバックの質、評価エージェントの判断にも左右されるため、現実の知能を完全に表すものではない。それでも、ファイル、状態を持つアプリ、専門家作成の基準を組み込んだ点で、独立した一問一答型の評価より長期的な業務に近い。

CLEは、継続学習を強化するためのポストトレーニングデータとしても利用できる。現時点での結論は明快だ。LLMは個別課題の解決力を高めているが、仕事を続けるほど確実に上達するエージェントの実現には、まだ大きな研究課題が残っている。

出典：Hugging Face Daily Papers