추론 기록을 압축하면 AI 에이전트 비용을 줄일 수 있을까

들어가며

추론 기능은 언어 모델이 어려운 문제를 해결하는 데 도움을 주지만, 긴 추론 기록은 토큰 비용과 지연 시간을 늘립니다. 여러 차례 도구를 호출하는 에이전트에서는 이전 생각이 계속 누적되면서 이미 끝낸 작업을 다시 설명하거나 검증하는 일도 생길 수 있습니다. ShortReasoning은 새로운 접근을 제시합니다. 모델을 재학습하지 않고, 모델이 앞서 작성한 추론을 더 짧은 상태 기록으로 바꾸면 이후의 사고도 줄어들 수 있는지 살펴본 것입니다.

무엇을 실험했나

연구진은 도구의 결과가 아직 공개되지 않은 시점에 기존 추론 블록을 압축된 기록으로 다시 작성했습니다. 그리고 원래의 기록을 본 경우와 압축된 기록을 본 경우에 모델이 어떻게 이어서 생성하는지 비교했습니다. 이는 단순히 요약문을 평가하는 것이 아니라, 이전 추론의 표현 방식이 다음 생성 과정에 미치는 영향을 확인하기 위한 개입입니다.

주요 결과는 다음과 같습니다.

• 후속 추론이 짧아지는 경향이 나타났다. 6개 테스트 경로에서 수용된 압축 기록 뒤의 후속 추론 중앙값은 대체로 더 짧았습니다. 추론 기록은 과거의 결과를 저장하는 문서인 동시에, 모델의 다음 계산 경로를 유도하는 상태일 수 있다는 의미입니다.
• 반복 검증을 줄일 수 있었다. 코딩 사례에서는 하나의 후보 해법이 공유된 뒤, 같은 내용을 되풀이해 확인하는 과정이 줄었습니다. 이미 끝난 작업과 아직 남은 작업을 간결하게 구분하면 중복이 감소할 수 있습니다.
• 압축기는 다양하게 설계할 수 있다. 전문적으로 미세 조정한 모델, 더 작고 저렴한 모델, 빠른 모델을 압축기로 사용할 수 있습니다. 어떤 정보가 중요한지 분류기가 먼저 선택하도록 만드는 방법도 가능합니다.
• 비용 절감은 조건부다. 소프트웨어 에이전트 사례에서 MiniMax M3에 외부 압축을 적용했을 때 총 지출은 34% 줄었고, 재작성 오버헤드를 포함한 모델 요청 시간의 합은 59% 감소했습니다. 그러나 이 수치는 특정 사례의 결과이며 모든 모델과 작업에 그대로 적용된다고 볼 수는 없습니다.

의미와 한계

ShortReasoning의 핵심 관점은 추론 기록을 고정된 텍스트가 아니라 최적화 가능한 중간 상태로 보는 것입니다. 중요한 사실과 제약, 결정 사항, 미완료 단계가 보존된다면, 표현을 압축하는 것만으로도 모델이 이미 수행한 작업을 다시 계산하는 일을 줄일 수 있습니다. 도구 호출이 반복되는 장기 에이전트에서는 이런 효과가 특히 중요할 수 있습니다. 압축 작업을 도구 실행과 동시에 진행하면 추가 지연의 일부를 가릴 가능성도 있습니다.

다만 짧은 기록이 항상 좋은 기록은 아닙니다. 지나친 요약은 실패한 시도, 중요한 제약, 이후 검증에 필요한 근거를 삭제할 수 있습니다. 그러면 토큰은 줄어들어도 정확도와 과업 성공률이 떨어질 수 있습니다. 따라서 실제 배포에서는 성공률, 전체 비용, 압축 시간, 모델 요청 시간, 원래 능력의 유지 여부를 함께 측정해야 합니다. 적절한 압축 수준도 모델, 작업 유형, 추론 단계별로 달라질 수 있습니다.

이 연구가 말하는 바는 단순히 “생각을 짧게 하라”는 것이 아닙니다. 현재의 오픈 웨이트 추론 모델에는 유용한 분석을 더 적은 토큰으로 표현할 잠재력이 이미 있을 수 있으며, 시스템은 그 능력을 반복 작업 없이 활용하도록 유도해야 합니다. 앞으로는 토큰 수만 줄이는 것이 아니라, 문제 해결에 필요한 상태는 보존하면서 불필요한 사고만 제거하는 정책이 중요해질 것입니다.

출처: Hugging Face Daily Papers