개요
에이전트 워크플로의 모든 단계에서 대형 언어 모델을 호출하면 지연 시간과 비용이 커집니다. 하지만 실제 단계 중에는 이미 정해진 몇 가지 후보 가운데 하나를 고르는 데 그치는 경우도 많습니다. AnyS1은 이런 반복적 판단을 경량 모델에 맡기고, 확신이 부족할 때만 더 강력한 System-2 모델을 호출하는 방식을 제안합니다. 핵심은 작은 모델을 추가하는 데 그치지 않고, 기존 절차 문서에서 ‘어디서 무엇을 선택하는지’를 찾아내려는 데 있습니다.
작동 방식
- 스킬 문서에서 판단 지점 추출. AnyS1은 1,000개가 넘는 공개 스킬을 분석해, 근거가 있는 상태와 유한한 선택지가 연결된 판단을 찾습니다. 환경마다 별도의 라우팅 코드를 작성하는 부담을 줄이고, 사람이 만든 절차를 여러 워크플로에서 재사용할 판단 정보로 활용하려는 접근입니다.
- 실행 기반 데이터로 학습. 연구진은 격리된 컨테이너에서 워크플로를 실행하고 실제 실행과 연결된 상태를 모아 Any-DP를 구축했습니다. 이 데이터로 범용 4B 포인터형 System-1 모델을 학습했으며, 선택과 신뢰도 처리를 위해 보정과 라벨 스무딩도 적용했습니다.
- 빠른 경로와 대체 경로를 함께 둠. 워크플로를 컴파일하면 일반적인 판단은 System-1의 한 번의 순전파로 처리할 수 있습니다. 신뢰도가 보정된 임계값보다 낮으면 System-2로 넘깁니다. 모든 상황을 작은 모델에 맡기기보다, 어려운 경우에는 강력한 모델을 사용할 수 있도록 한 설계입니다.
결과와 실제 적용의 과제
논문은 미관측 벤치마크 세 가지와 서로 다른 System-2 모델 계열에서, 컴파일하지 않은 에이전트와 비교해 작업 신뢰성을 유지하면서 에피소드 비용을 7591%, 모델 호출 시간을 6392% 줄였다고 보고합니다. 신뢰도 임계값을 제로샷으로 이전한 경우에도 성능이 유지됐다고 설명합니다. 다만 이는 해당 평가 설정에서 얻은 결과이며, 모든 실제 환경에서 같은 절감 효과를 보장하지는 않습니다.
실제 적용 가능성은 후보 선택지가 얼마나 현실을 포괄하는지에 달려 있습니다. 스킬 문서에 적힌 선택지가 실행 중 도구가 반환하는 상태를 충분히 포함할까요? 정답이 후보 목록에 없으면 대체 처리가 필요하고, 잘못된 선택이 감지되지 않으면 이후 작업에도 영향을 줄 수 있습니다. 따라서 운영 환경에서는 실제 실행 기록에서 열거 가능한 판단이 차지하는 비율, 오선택 뒤 작업 성공률이 어떻게 변하는지, 대체 호출이 지연을 얼마나 늘리는지를 확인해야 합니다. AnyS1은 빠른 System-1과 강력한 System-2를 결합하는 범용적인 방향을 제시하지만, 안정적인 운영을 위해서는 예외 상황을 다루는 방식이 중요합니다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…