階層メモリで小型エージェントを強化するAMD

小型のLLMは、単体の言語能力よりも「成功した手順をどれだけ持っているか」でエージェント性能が左右されやすい。AMD はこの弱点に対し、強い教師の軌跡をそのまま模倣させるのではなく、再利用しやすい形の記憶へ変換して渡すという方法を取る。

AMD の基本アイデア

Agent Memory Distillation（AMD）は、教師エージェントの成功軌跡から3種類の補完的な記憶を作る。

• Workflow memory: タスク全体の戦略や進め方を要約する
• Subtask memory: 中間粒度で具体的な行動例を与える
• Function memory: 関数ごとの呼び出し方、よくある誤り、注意点を記録する

Workflow と Subtask はタスク開始時に先回りして注入され、まず全体像を掴ませる。一方で Function memory は、ツール呼び出しで失敗したときに検索され、局所的なエラー修正に使われる。

何が新しいのか

この方法のポイントは、エージェントの知識を「重み」ではなく「記憶」として扱うことにある。小型モデルは十分な成功軌跡を自力で作れないため、経験の不足がそのまま性能の壁になる。AMD はその壁を、階層化された記憶で補おうとしている。

実験結果の要点

論文では AppWorld、BFCL V3、ToolSandbox の3つのツール使用ベンチマークで評価を行い、4B〜8B規模の4つの学生モデルを対象にした。教師は GPT-5-mini を使用している。結果として、AMD は既存の記憶ベース手法を一貫して上回った。中でも Subtask memory の寄与が最も大きく、教師の能力だけでなく教師と学生の相性も重要だと示されている。さらに、4B級の学生モデルが最も恩恵を受けやすかった。

意義

AMD は、エージェントの性能向上において「大きく学習する」以外の選択肢を示している。必要なのは、適切な粒度で経験を整理し、必要なときに正しく注入することだ。小型LLMを実用的なエージェントへ近づけるうえで、記憶設計の重要性を再確認させる研究だといえる。

出典: Hugging Face Daily Papers