長期エージェントが文脈圧縮に強く見える理由、研究が示した盲点

導入

研究、コーディング、モデル訓練のような長期タスクでは、エージェントとの会話履歴がモデルの文脈ウィンドウを超えることがある。そこでエージェントの実行基盤は、古い履歴を要約して文脈を空ける「文脈圧縮」を行う。これは長時間の処理を可能にする一方、指示、制約、過去の判断理由を失わせる可能性がある。

論文「Benchmarks Are Surprisingly Compaction-Friendly」は、この問題を現実的な長期タスクで調べた研究である。著者らは OpenCode の構成を固定し、五つの圧縮方式を組み込んだうえで、PaperBench、ProgramBench、PostTrainBench と三つの最先端モデルを評価した。

主な発見

• 100万トークンの文脈を持つ二つのモデルでは、圧縮を開始する閾値を変えても、タスク性能に測定可能な変化は見られなかった。
• 研究対象の中で最も小さい文脈ウィンドウを持つ GPT-5.3-Codex は、PaperBench で低い圧縮閾値を使うと性能が低下した。PostTrainBench でも、より不明確ながら同様の傾向が見られた。
• 代替方式のいずれも、標準の自己要約を一貫して上回らなかった。より多くの情報を捨てる方式は、一部のモデルで最大20ポイントの損失を生じさせたが、別のモデルではほぼ影響がなかった。
• 圧縮は制約を静かに削除する。ProgramBench では、最初の要約だけで平均約3分の1の不正防止ルールが失われ、圧縮を重ねるほど増加した。
• 実際の SWE-chat セッションでは、「どのように作業するか」「何をしてはいけないか」という指示が、構築対象の仕様より約6倍多く失われた。

ベンチマークが寛容に見える理由

著者らは、現在のベンチマークを「圧縮に友好的」だと説明する。目的が固定され、コードや文書などの進捗がディスクに保存されるためだ。会話の一部が消えても、エージェントは外部の成果物を読み直し、タスクの状態をかなりの範囲で復元できる。

しかし、成果物は通常「何を作ったか」を示すものであり、「なぜその判断をしたか」「どの手順を守るべきか」「何が禁止されているか」までは保存しない。これらの情報が過去の指示にしか存在しなければ、要約から抜け落ちた時点で復元は難しくなる。

つまり、最終成果物が正しく見えても、元のルールに従ったとは限らない。タスク達成度とプロセスの遵守は、別々に評価する必要がある。

意義と影響

この研究は、文脈圧縮を否定しているのではない。むしろ、運用上は機能している圧縮が、意味の面では危険を残し得ることを示している。最終スコアだけを見れば、ルール忘却の兆候を見落とす可能性がある。

エージェント基盤では、通常の会話履歴とは別に、失ってはならない制約や禁止事項を保護して保存する設計が考えられる。評価側も、外部ファイルから復元できない指示を含むタスクや、成果物だけでなく手順の遵守を測る課題を増やす必要がある。長期化するエージェントでは、「何を作るか」と同じくらい「どう作業するか」の記憶が重要になる。

arXiv