도구 출력은 텍스트일 필요 없다: 잠재 토큰으로 에이전트 문맥 압축

배경

여러 단계로 작업하는 대규모 언어 모델 에이전트에서는 도구 호출 자체보다 도구가 반환한 결과를 계속 문맥에 붙이는 일이 큰 부담이 될 수 있습니다. 검색 결과, 웹페이지 일부, 중간 관찰에는 필요한 사실뿐 아니라 중복 문장과 서식, 무관한 정보도 섞여 있습니다. 상호작용이 길어질수록 에이전트는 다음 행동에 필요한 소수의 단서를 긴 텍스트에서 찾아야 하고, 문맥 비용과 주의력 분산 문제가 커집니다.

칭화대 연구팀이 제안한 Coca-Cola(Context Compression via Continuous Latent Tokens)는 이 텍스트 중심의 구조에 의문을 제기합니다. 도구 관찰을 전부 읽을 수 있는 텍스트로 전달하는 대신, 연속적인 잠재 토큰으로 압축한 뒤 에이전트의 입력 임베딩 공간에 삽입하는 방식입니다.

핵심: 문장을 보존하지 않고 행동을 보존

기존의 토큰 가지치기와 요약 기법도 문맥을 줄일 수 있지만, 여전히 이산적인 텍스트 표현에 의존합니다. Coca-Cola는 원래 도구 출력을 완전히 재구성하거나 모든 내용을 사람이 읽을 수 있는 요약으로 만들려 하지 않습니다. 목표는 에이전트가 다음 결정을 내리는 데 충분한 정보만 유지하는 것입니다.

이를 위해 논문은 Action-Preserving Training을 도입합니다. 전체 관찰을 사용했을 때와 압축된 관찰을 사용했을 때 에이전트가 선택하는 다음 행동의 분포를 비교하고, 두 분포가 가까워지도록 압축 모델을 학습합니다. 대상 에이전트는 고정된 상태로 유지되므로, 압축기는 해당 에이전트의 의사결정에 중요한 정보를 학습해야 합니다.

따라서 검색 결과의 반복 표현이나 불필요한 형식은 반드시 보존할 필요가 없습니다. 다시 검색할지, 특정 단서를 따라갈지, 추가 도구를 호출할지, 답변을 작성할지에 영향을 주는 정보가 남아 있으면 됩니다. 잠재 토큰은 사람이 직접 읽기에는 불투명할 수 있지만, 모델에게는 행동 결정을 위한 인터페이스가 될 수 있습니다.

실험 결과와 한계

연구진은 Natural Questions, TriviaQA, 2WikiMultiHopQA, HotpotQA 등 4개 질의응답 벤치마크에서 웹 검색 에이전트를 평가했습니다. 실험에는 Qwen과 GLM이라는 2개 모델 계열이 포함되었습니다. 보고된 결과에 따르면 전체 에이전트 토큰 사용량은 70.0189.24% 감소했고, 엔드투엔드 실행 시간은 24.4555.97% 줄었습니다. 또한 모든 평가 설정에서 압축하지 않은 에이전트보다 답변 EM과 F1이 높았습니다.

이는 문맥 압축이 성능을 단순히 유지하는 데 그치지 않고, 잡음을 제거해 성능을 높일 수도 있음을 시사합니다. 다만 현재 근거는 웹 검색 질의응답과 두 모델 계열에 집중되어 있습니다. 코드 실행, 데이터베이스 조작, 장기 계획, 멀티모달 도구에서도 같은 결과가 나오는지는 추가 검증이 필요합니다.

잠재 표현의 해석 가능성도 중요한 과제입니다. 압축기가 핵심 정보를 누락했을 때, 사람이 일반적인 요약문처럼 오류 원인을 바로 확인하기 어려울 수 있습니다. 실제 적용을 위해서는 압축률뿐 아니라 태스크 간 전이, 실패 분석, 보안 감사 가능성도 함께 평가해야 합니다.

의미와 영향

Coca-Cola는 도구 결과를 ‘모델이 읽는 텍스트’가 아니라 ‘다음 행동을 결정하기 위한 표현’으로 바라봅니다. 이 관점이 다른 에이전트 작업으로 확장된다면, 더 적은 문맥과 추론 비용으로 긴 다단계 작업을 처리할 가능성이 있습니다. 공개된 코드는 코드 실행이나 데이터베이스 도구 등 새로운 환경에서 이러한 설계를 검증하는 출발점이 될 수 있습니다.

출처: Hugging Face Daily Papers