Chain-of-Experience：推論中に経験から改善するLLM

導入

一般的なLLM評価では、入力に対する一度の回答をひとつの完結した試行として扱う。そのため、モデルが最初から正解できるかは測れても、失敗から学び、次の試行で方針を変えられるかは十分に評価されない。論文「Chain-of-Experience for Continual LLM Improvement」は、この推論時の学習能力に注目し、**Chain-of-Experience（CoE）**という枠組みを提示した。

主なポイント

• 推論を反復ループに変える。 CoEでは、推論時にモデルの重みを更新するのではなく、複数回の相互作用から得られた経験の痕跡を蓄積し、後続の試行で参照する。
• 複数のフィードバックを利用する。 モデル自身による自己フィードバックに加え、回答の正誤や、プログラミングにおける公開テストの合格率など、環境から得られる信号も扱う。これらは異なる種類の情報を提供する。
• 評価対象は幅広い。 数学、コーディング、知識のタスクを対象に、8種類のLLMを評価した。要約では、その中にGPT-5、Gemini-2.5 Pro、Claude-4.5 Sonnetが含まれると説明されている。
• フィードバックなしの方法を上回る。 研究結果では、経験を利用する反復的な方法が、フィードバックを使わないベースラインを一貫して上回った。タスクとモデル全体では5.6%の改善、APIコスト19%削減が報告され、既存の推論時戦略より高いtoken当たり精度も示された。
• 異なる信号の組み合わせが有効。 モデルからのフィードバックと正解性などの環境信号を組み合わせると、追加の改善が得られた。基礎能力の高いモデルほど改善能力も高い傾向があり、成果の多くは初期の反復で現れたという。

意義と課題

CoEは、推論時スケーリングの考え方を広げる。計算量を増やす方法は、候補回答を増やしたり、推論を長くしたりするだけではない。過去の試行結果を保存し、その結果に応じて次の戦略を変えることも、実用的な拡張方法になり得る。数学や実行可能なコードのように、結果を検証できるタスクでは特に相性がよい。

また、評価の軸を「初回回答の正確さ」から「相互作用によってどれだけ改善できるか」へ広げるきっかけにもなる。環境内で行動し、結果を受け取るエージェントにとって、この能力は重要だろう。

一方、弱い、あるいは不正確なフィードバックに対する頑健性が報告されていても、すべての信号が安全で有用とは限らない。提供された素材には、詳細な実験設定、反復回数、コスト計算の方法は記載されていないため、数値をあらゆる運用環境に適用できる保証とみなすべきではない。今後は、価値の高い経験の選別、誤ったフィードバックの検出、反復を止める基準が重要になる。

Hugging Face Daily Papers