EdgeWise, 장기 에이전트의 핵심 단계만 클라우드에 맡긴다

배경

장기 에이전트 작업은 상태 파악, 계획 수립, 실행, 오류 수정 과정을 여러 차례 반복해야 합니다. 모든 단계를 클라우드의 고성능 LLM에 맡기면 복잡한 문제를 처리하기 쉽지만, 작업 궤적이 길어질수록 추론 비용도 커집니다. EdgeWise는 모든 단계가 같은 수준의 모델 능력을 필요로 하지는 않으며, 실제로 강력한 모델이 필요한 단계는 일부에 불과할 수 있다는 관찰에서 출발합니다.

작동 방식

EdgeWise는 로컬 장치의 소형 언어 모델을 기본 솔버로 배치합니다. 클라우드 LLM은 상시 실행되는 주 모델이 아니라 필요한 순간에 호출되는 전문 도구로 사용됩니다. 주요 구성은 다음과 같습니다.

• 로컬 우선 실행: 일반적인 단계는 장치에서 처리해 클라우드 요청과 고비용 추론을 줄입니다.
• 선택적 위임: 더 강한 추론, 계획 또는 복구 능력이 필요한 단계만 클라우드 모델에 전달합니다.
• 단계별 강화학습: 작업을 해결하는 과정과 위임 여부를 함께 최적화하고, 개별 위임 결정이 최종 결과에 기여한 정도를 세밀하게 할당합니다.
• 외부 평가기 전략: 외부 평가기를 이용해 언제 위임할지, 누가 결정할지, 어떤 컨텍스트를 공유할지, 클라우드 모델을 얼마나 자주 호출할지를 체계적으로 검토합니다.

따라서 단순히 전체 단계 중 일정 비율을 클라우드로 보내는 방식은 아닙니다. 작업의 진행 상태와 각 단계의 난도에 맞춰 모델 능력을 배분하는 것이 핵심입니다. 반복적이고 예측 가능한 작업은 소형 모델이 맡고, 결과에 큰 영향을 주는 판단에는 더 강한 모델을 투입합니다.

결과와 의미

보고된 실험에서 EdgeWise는 SWE-Rebench의 추론 비용을 최대 62%, Terminal-Bench 2.1의 비용을 최대 34% 줄였습니다. 순수하게 LLM만 사용하는 실행 방식과 비교해 성능은 동등하거나 더 높게 나타났습니다. 연구진은 로컬 워크스테이션에서도 프레임워크를 배포해 실제 엣지-클라우드 환경에 가까운 조건에서 비슷한 비용 절감 효과를 확인했습니다.

이 연구의 의미는 로컬 모델과 클라우드 모델 중 하나만 선택해야 한다는 구도를 완화한다는 데 있습니다. 코딩 에이전트나 터미널 작업처럼 많은 단계가 일상적이지만 일부 오류가 전체 결과에 큰 영향을 미치는 애플리케이션에서는, 단계마다 다른 수준의 모델 능력을 배정하는 방식이 현실적인 대안이 될 수 있습니다.

다만 선택적 위임은 새로운 신뢰성 문제도 만듭니다. 너무 자주 위임하면 비용 절감 효과가 사라지고, 중요한 시점을 놓치면 전체 작업이 실패할 수 있습니다. 따라서 위임 판단 자체가 에이전트 설계의 핵심 요소가 됩니다. EdgeWise는 이 판단을 고정 규칙이 아니라 학습 가능한 단계별 의사결정 문제로 다루며, 효율성과 성능을 함께 개선할 방향을 제시합니다.

출처: Hugging Face Daily Papers