장기 AI 에이전트가 컨텍스트 압축에 강해 보이는 이유

들어가며

코딩, 연구, 모델 훈련처럼 긴 시간 이어지는 작업에서는 에이전트의 대화 기록이 모델의 컨텍스트 창을 초과할 수 있다. 에이전트 실행 프레임워크는 작업을 계속하기 위해 오래된 대화를 요약해 공간을 확보한다. 이를 컨텍스트 압축이라고 한다. 압축은 장기 실행을 가능하게 하지만, 지시사항과 작업 제약, 이전 판단의 근거를 함께 삭제할 수 있다는 문제가 있다.

논문 「Benchmarks Are Surprisingly Compaction-Friendly」는 실제에 가까운 장기 에이전트 작업에서 이 문제를 살펴봤다. 연구진은 OpenCode 프레임워크를 고정하고 다섯 가지 압축 전략을 구현한 뒤, PaperBench, ProgramBench, PostTrainBench와 세 개의 프런티어 모델을 대상으로 평가했다.

주요 결과

• 100만 토큰 컨텍스트를 가진 두 모델에서는 압축을 시작하는 임계값을 바꿔도 작업 성능에 측정 가능한 변화가 없었다.
• 연구 대상 중 컨텍스트 창이 가장 작은 GPT-5.3-Codex는 PaperBench에서 더 낮은 압축 임계값을 사용할 때 성능이 하락했다. PostTrainBench에서도 비슷한 경향이 있었지만 더 뚜렷하지는 않았다.
• 실험한 대체 압축 방식 중 기본 자기 요약을 일관되게 능가한 방법은 없었다. 더 많은 내용을 버리는 방식은 일부 모델에서 최대 20포인트의 손실을 만들었지만, 다른 모델에는 거의 영향을 주지 않았다.
• 압축은 작업 제약을 눈에 띄지 않게 삭제할 수 있다. ProgramBench에서는 첫 번째 요약만으로도 평균 약 3분의 1의 부정행위 방지 규칙이 빠졌고, 압축 횟수가 늘수록 손실도 증가했다.
• 실제 SWE-chat 세션에서는 “어떻게 작업해야 하는가”와 “무엇을 하면 안 되는가”에 관한 지시가, “무엇을 만들어야 하는가”에 관한 사양보다 약 6배 더 자주 사라졌다.

벤치마크가 압축에 관대한 이유

연구진은 현재의 벤치마크가 ‘압축 친화적’이라고 설명한다. 목표가 고정되어 있고, 코드나 문서 같은 에이전트의 진행 상황이 디스크에 저장되기 때문이다. 대화 기록 일부가 사라져도 에이전트는 외부 산출물을 다시 읽어 작업 상태를 상당 부분 복원할 수 있다.

하지만 외부 파일이 모든 정보를 보존하는 것은 아니다. 파일은 무엇이 만들어졌는지는 보여주지만, 왜 그런 결정을 내렸는지, 어떤 절차를 따라야 하는지, 어떤 행동이 금지됐는지는 담지 않을 수 있다. 이런 정보가 이전 프롬프트나 대화에만 존재한다면 요약에서 누락된 뒤 되찾기 어렵다.

따라서 최종 결과물이 정상적으로 보여도 원래의 규칙을 지켰다고 단정할 수 없다. 작업 완성도와 절차 및 규칙 준수는 별도로 확인해야 한다.

의미와 영향

이 연구는 컨텍스트 압축이 무용하다는 뜻이 아니다. 압축은 실제 운영에서 효과적일 수 있지만, 의미와 규칙을 보존하는 데에는 취약할 수 있다는 점을 보여준다. 최종 점수만으로 압축 품질을 판단하면 에이전트가 중요한 행동 경계를 잊은 사례를 놓칠 수 있다.

에이전트 프레임워크는 일반 대화 기록과 별도로 반드시 보존해야 할 제약, 금지 사항, 작업 방식을 저장하는 보호 영역을 둘 수 있다. 평가 벤치마크도 외부 파일만으로 복원할 수 없는 규칙을 포함하고, 최종 산출물뿐 아니라 과정의 준수 여부를 측정해야 한다. 에이전트의 작업이 길어질수록 ‘무엇을 만들 것인가’뿐 아니라 ‘어떻게 작업할 것인가’를 기억하는 능력이 중요해진다.

arXiv