SoL-Pi, 장기 실행 코딩 에이전트의 토큰 사용량을 줄이다

들어가며

코딩 에이전트는 한 번의 코드 자동완성을 넘어, 몇 시간 동안 자율적으로 탐색하는 시스템으로 발전하고 있습니다. 에이전트는 추론하고, 도구를 호출하고, 환경의 피드백을 읽고, 코드를 수정한 뒤 다시 검증하는 과정을 반복합니다. 이런 장기 작업에서는 기반 모델의 능력만큼이나 모델 주변의 harness 설계가 중요합니다. 행동을 어떻게 실행하는지, 어떤 컨텍스트를 남기는지, 관찰 결과를 어떻게 전달하는지에 따라 토큰 사용량과 API 비용이 달라지기 때문입니다.

SoL-Pi는 바로 이 harness 계층을 개선 대상으로 삼습니다. 논문은 재귀적 자기개선(RSI)에서 영감을 받아, 점점 더 다양해지는 환경에서 harness rollout을 자동으로 연구하고, 개발 환경을 넘어 재사용될 수 있는 변경을 선별합니다. 새로운 기반 모델을 학습하기보다 기존 모델이 장시간 작업을 더 효율적으로 수행하도록 작업 방식을 개선하는 접근입니다.

핵심 내용

• 최적화 대상은 harness입니다. 도구 실행, 컨텍스트 관리, 정보 입력 등 에이전트의 운영 절차를 조정하며 모델 파라미터 자체를 바꾸는 방법은 아닙니다.
• 네 가지 메커니즘이 남았습니다. 최종 SoL-Pi는 행동 실행, 컨텍스트 압축, 관찰 처리, 위임 읽기와 관련된 개선을 결합합니다. 즉 어떻게 행동하고, 무엇을 기억하며, 피드백을 해석하고, 어떤 읽기 작업을 별도 절차에 맡길지를 다룹니다.
• 여러 환경에서 선별합니다. 하나의 개발 환경에만 맞춘 최적화가 아니라 다양한 환경에서 시험해, 특정 상황의 요령보다 다른 작업으로 옮겨갈 수 있는 개선을 찾는 것이 목표입니다.
• 효율 개선을 보고했습니다. 51개 EdgeBench 작업에서 SoL-Pi는 Pi와 비슷한 성능을 보이면서 기록 토큰 트래픽을 44.7%49.0%, API 비용을 약 3분의 1 줄였다고 합니다. 논문이 추정한 시간당 절감액은 기본 Codex 및 Claude Code harness 대비 8.7513.50달러, Pi 대비 4.36~5.71달러입니다.

의미와 한계

이 연구는 에이전트 효율 향상이 반드시 더 큰 모델만을 요구하지 않는다는 점을 보여줍니다. 중복 컨텍스트, 불필요한 관찰, 과도한 읽기를 줄이면 비용을 낮추면서 실행할 수 있는 작업 궤적을 늘릴 수 있습니다. 또한 harness 개선이 여러 환경에서 재사용된다면, 한 번의 자동 탐색 결과를 지속적으로 축적되는 에이전트 인프라로 발전시킬 수 있습니다.

다만 현재 제공된 자료는 초록 수준입니다. 네 가지 메커니즘의 정확한 알고리즘, 기준선 설정, 결과의 변동성, EdgeBench의 작업 구성은 공개되어 있지 않습니다. 따라서 ‘비슷한 성능’과 비용 절감은 전체 평균에 대한 보고로 이해해야 하며, 모든 작업에서 동일한 이득이 발생한다고 볼 수는 없습니다. 실제 도입에서는 압축 과정에서 핵심 정보가 사라지는지, 위임 읽기가 지연을 추가하는지, 모델과 도구 체인이 달라져도 효과가 유지되는지를 확인해야 합니다.

SoL-Pi의 핵심 가치는 단순한 토큰 절감보다 넓습니다. harness를 연구하고, 선별하고, 계속 개선할 수 있는 시스템 구성요소로 바라본다는 점입니다. 코딩 에이전트가 대화형 보조 도구에서 지속적으로 일하는 자율 시스템으로 이동할수록 이런 관점의 중요성은 커질 것입니다.

Hugging Face Daily Papers