StopLoss, 코딩 에이전트에 실패 예측과 조기 중단을 가르치다

들어가며

코딩 에이전트는 오래 실행한다고 해서 항상 성공에 가까워지지는 않습니다. 이미 검증에 실패할 가능성이 높은 경로에 들어섰는데도 파일을 수정하고, 도구를 호출하고, 테스트를 반복하는 경우가 있습니다. 이 과정을 프런티어 모델이 계속 감시하게 만들면 문제가 하나 더 생깁니다. 감시 비용이 조기 중단으로 얻는 절감액을 잠식할 수 있기 때문입니다.

StopLoss는 이 문제를 소형 외부 모니터로 다룹니다. 금융의 손절 주문에서 이름을 가져온 것처럼, 에이전트를 교체하거나 실패한 코드를 직접 고치는 대신 최종 실패 가능성이 높아진 실행을 미리 종료합니다.

작동 방식

• 최종 결과에서 신호를 학습: 연구진은 완료된 코딩 에이전트 궤적과 검증기의 최종 통과·실패 결과를 사용합니다. 궤적 앞부분의 국소적인 창에도 최종 결과를 연결해, 실패로 이어지는 도구 사용 패턴을 학습시킵니다.
• 소형 모델로 위험 점수 계산: 약 7B~8B 규모의 언어 모델이 최근 도구 사용 단계만 읽고 한 번의 순전파로 실패 점수를 산출합니다. 매번 전체 기록을 다시 읽거나 대형 모델에 자유 형식 판정을 맡길 필요가 없습니다.
• 임계값으로 중단 결정: 성공 실행을 기준으로 임계값을 보정하고, 위험 점수가 기준을 넘을 때만 실행을 중단합니다. 모니터를 실행기 외부에 둘 수 있어 기존 에이전트를 재학습하거나 구조적으로 수정하지 않아도 됩니다.
• 범용 판정 모델과 비교: 동일한 창을 읽는 6개의 범용 모델 판정기와 비교했습니다. 평가는 SWE-bench Verified와 SWE-bench Pro 일부에서 진행됐으며, GPT와 Claude 실행기를 함께 사용했습니다.

결과와 영향

결과 기반 감독을 적용하자 첫 번째 확인 시점에 거의 무작위에 가까웠던 실패 예측이 유용한 신호로 개선됐습니다. StopLoss의 검사 1회 비용은 실험한 범용 판정기보다 약 1~2자릿수 낮았습니다. SWE-bench Verified에서는 모든 과제를 끝까지 실행하는 방식과 비교해 성공 실행의 99%를 보존하면서, 보존된 해결 과제당 비용을 4.5% 줄였습니다. 비용이 더 큰 Pro 하위 집합에서는 최대 31%의 절감이 보고됐고, Qwen3-8B 백본을 사용하면 48%에 도달했습니다. 네 가지 실험 조건 모두에서 보존된 해결 과제당 비용은 모든 비교 판정 정책보다 낮았습니다.

이 연구의 핵심은 단순히 큰 모델을 작은 모델로 바꾼 데 있지 않습니다. 실행기는 문제 해결을 시도하고, 모니터는 추가 자원을 투입할 가치가 있는지 판단하는 역할 분담을 제안합니다. 장시간 도구 호출이 필요한 코딩 작업에서 실패 인식을 비싼 개방형 추론이 아니라 빠른 위험 점수 계산으로 바꿀 수 있다는 뜻입니다.

물론 조기 중단에는 오판 위험이 있습니다. 실행기, 검증기, 과제 분포가 달라지면 임계값을 다시 조정해야 하며, 학습 데이터의 범위는 다른 환경에서의 일반화에도 영향을 줍니다. 따라서 StopLoss는 검증을 완전히 대체하는 실패 증명기가 아니라, 보수적인 비용 절감 계층으로 보는 편이 타당합니다. 코드·모델·데이터 공개는 다양한 에이전트와 벤치마크에서 후속 검증을 진행할 기반을 제공합니다.

출처: Hugging Face Daily Papers