Cognition SWE-2, 코딩 에이전트의 비용 대비 성능을 겨냥하다

들어가며

Cognition이 코딩 에이전트용 신모델 SWE-2를 출시했다. 이번 발표의 핵심은 단일 벤치마크에서 최고 점수를 기록하는 데만 있지 않다. 작업을 해결하는 능력과 그 과정에서 발생하는 추론 비용을 함께 개선해, 실제 사용자가 선택할 수 있는 비용·성능 곡선을 넓히겠다는 접근이다. Cognition은 SWE-2가 FrontierCode 1.1 Main에서 50.0%를 기록했으며, Fable 5.1과 약 1포인트 차이지만 비용은 64% 낮다고 설명한다. 모델은 Devin Desktop과 CLI에서 제공되며 Devin Web과 Fusion에도 순차적으로 적용될 예정이다.

핵심 내용

• 대규모 기반 모델을 후처리 학습. SWE-2는 에이전트 코딩을 위한 강화학습을 이미 거친 2.8조 파라미터 Kimi K3에서 출발했다. Cognition은 추가 학습을 통해 여러 벤치마크에서 약 5~6포인트의 향상을 얻었다고 밝혔다.
• 여러 추론 강도를 한 번에 학습. 보상 함수는 작업 성공 여부뿐 아니라 롤아웃 비용과 실행 시간에 따른 페널티도 반영한다. 페널티의 크기는 기반 모델의 비용·성능 곡선 기울기를 참고해 effort level별로 조정된다.
• 탐색 단계 감소. FrontierCode 1.1 Main에서 SWE-2 medium의 평균 실행 단계는 53단계로, SWE-1.7의 127단계보다 적었다. 처음으로 실질적인 코드 편집을 시작하기까지의 중앙값도 48단계에서 18단계로 줄었다고 한다.
• 벤치마크별 편차. SWE-2는 FrontierCode 1.1 Main에서 50.0%, DeepSWE 1.1에서 73.0%, Terminal-Bench 2.1에서 92.8%를 기록했다. 그러나 Terminal-Bench 4에서는 27.3%에 그쳐, 작업 구성에 따라 모델 순위가 크게 달라질 수 있음을 보여준다.

의미와 영향

SWE-2의 중요한 지점은 지능과 효율을 별개의 목표로 보지 않는다는 데 있다. 코드 저장소에서 실제로 필요한 부분을 빠르게 판단하면 간단한 작업에서는 도구 호출과 불필요한 탐색을 줄일 수 있다. 반대로 복잡한 작업에서는 더 높은 추론 강도를 사용해 계획, 탐색, 검증에 시간을 배분할 수 있다.

Cognition은 강화학습 환경을 세 배로 확대하고, 지시 준수용 오버레이를 추가했으며, 이전 SWE-2 체크포인트를 활용해 검증기를 반복적으로 강화했다고 설명한다. 서비스 측면에서는 양자화와 스케줄링 개선을 통해 메모리 사용량을 낮추고 학습과 추론 사이의 차이를 줄였다고 밝혔다.

행동 변화로는 더 넓은 엔드투엔드 테스트 작성, 첫 번째 방법이 막혔을 때 대안을 찾는 능력, 사용자의 의문 제기에 결론을 다시 검증하는 태도가 제시됐다. 다만 이는 주로 Cognition의 내부 관찰에 근거한 설명이므로 독립적인 평가 결과와 구분할 필요가 있다. 서로 다른 벤치마크에서 성적이 크게 달라지는 점 역시 단일 순위표만으로 모델을 선택하기 어렵다는 사실을 보여준다.

코딩 에이전트의 경쟁 기준은 최고 성공률에서 작업당 비용, 실행 단계, 지연시간까지 포함하는 방향으로 이동하고 있다. SWE-2는 이런 트레이드오프를 학습 목표에 직접 포함하려는 시도다. 앞으로의 평가는 보고된 결과가 실제 개발 환경과 독립적인 작업 분포에서도 재현되는지에 달려 있다.

출처: Hacker News