SpecMem, 실시간 메모리로 에이전트 도구 호출 가속

들어가며

데이터베이스를 조회하거나 외부 API를 호출하고 업무 시스템에서 작업을 수행하는 에이전트에서는 최종 답변 생성만큼 도구 호출 생성도 지연 시간에 영향을 준다. 함수 이름, 인자, 호출 순서는 여전히 토큰 단위로 자기회귀 생성되기 때문이다. 추측 디코딩은 빠른 방식으로 호출 초안을 만든 뒤 대상 모델이 이를 검증하는 방법으로 비용을 줄일 수 있다. 하지만 한 번 구축한 호출 저장소는 새로운 세션과 요청이 늘어날수록 실제 사용 패턴을 따라가지 못한다.

arXiv 논문에서 제안한 SpecMem은 이 문제를 모델 재학습이 아니라 배포 중 메모리 관리 문제로 다룬다. 실제 트래픽에서 검증된 호출을 계속 반영해 추측 디코딩의 초안 공급원을 살아 있게 유지하는 방식이다.

핵심 내용

• 검증된 호출을 온라인으로 기록한다. 대상 모델의 검증을 통과한 도구 호출을 메모리에 추가한다. 저장소는 사용자별로 크기를 제한하고, LRU 정책으로 오래된 항목을 제거해 무한한 증가를 막는다.
• 새로운 작업에 맞춰 초안을 갱신한다. 다중 세션·다중 사용자 요청 흐름에서 고정 저장소는 초기 구축 이후 새로운 작업이 유입될수록 수락 성능이 떨어진다. SpecMem은 배포 중 새롭게 확인된 호출 패턴을 흡수한다. 세 가지 오픈 웨이트 모델에서 평균 수락 토큰 기준 차이는 27%였고, 벤치마크별 차이는 11%에서 34%로 나타났다. 벽시계 시간 기준 최대 가속 배수는 1.74배였다.
• 안전성 기준은 검색 신뢰도가 아니라 부작용이다. 되돌릴 수 없는 호출은 검증이 끝날 때까지 실행을 미룬다. 소거 실험에 따르면 검색 신뢰도에 따른 게이트보다 선언된 부작용에 따른 게이트가 되돌릴 수 없는 오류를 제거하는 데 효과적이었다.
• 사용자별 분리는 성능보다 정보 보호에 중요하다. 로컬 사용자 범위는 수락률을 높이지 않았지만, 실험에서 측정된 사용자 간 정보 누출 경로를 차단했다. 즉, 메모리 범위는 속도와 별도로 설계해야 한다.

의미와 영향

이 연구의 핵심 시사점은 추측 디코딩 성능이 모델 구조나 검증기뿐 아니라 초안의 원천을 어떻게 관리하느냐에도 달려 있다는 것이다. 초기에는 강력한 호출 캐시라도 실제 배포에서 새로운 요청이 계속 들어오면 빠르게 낡을 수 있다. 사용자별 행동이 반복되는 개인 비서나 업무 자동화 시스템에서는 온라인 기록이 장기적인 가치를 유지하는 방법이 될 수 있다.

다만 운영 측면의 조건도 분명하다. 메모리 용량, 삭제 정책, 사용자 경계를 명시해야 하며, 어떤 도구가 부작용을 일으키는지 도구 자체가 정확히 선언해야 한다. 검증 절차 역시 성능 최적화 때문에 우회되어서는 안 된다. 따라서 SpecMem은 단일 디코딩 기법이라기보다, 예측 가능한 호출은 먼저 제안하되 되돌릴 수 없는 작업은 검증을 기다리게 하는 배포 설계 원칙에 가깝다. 에이전트 인프라에서는 지연 시간 최적화와 안전 통제를 처음부터 함께 설계해야 한다는 점도 보여준다.

출처: arXiv