SWE-Duel: 코딩 에이전트가 서로 출제하는 자기 확장형 평가장

고정형 벤치마크의 한계

기존 소프트웨어 엔지니어링 벤치마크는 공개 시점에 저장소, 이슈, 정답 패치와 테스트가 고정된다. 시간이 지나면 관련 내용이 학습 데이터에 포함될 수 있고, 더 강한 모델은 과제를 충분히 학습해 벤치마크를 포화시킬 수 있다. 싱가포르경영대학교 연구진이 제안한 SWE-Duel은 평가가 진행되는 동안 과제와 판정 기준을 생성해 이 문제를 줄이려 한다.

Red가 만들고 Blue가 찾아낸다

두 에이전트는 실제 코드 저장소에서 Red와 Blue 역할을 번갈아 맡는다. 먼저 Red는 서로 격리된 세션에서 프로젝트를 파악하고 새로운 기능을 제안해 구현한다. 기능 테스트를 작성한 뒤, 구현한 기능 안에 미묘한 버그를 넣고 이를 유발하는 비공개 테스트도 만든다.

풀 리퀘스트가 정식 과제가 되려면 조건을 모두 충족해야 한다. 새 기능 테스트와 저장소의 기존 테스트는 통과하지만, 버그 테스트에는 정확히 실패해야 한다. 여기에 같은 에이전트의 새로운 세션이 버그 위치를 알지 못한 채 문제를 고칠 수 있어야 한다. 해결 불가능한 작업을 단순히 어려운 과제로 오인하지 않기 위한 장치다.

이후 Blue는 버그가 존재한다는 설명 없이 풀 리퀘스트를 검토한다. 코드를 분석하고 수정안을 제출한 뒤 기능 테스트, 기존 테스트, 숨겨진 버그 테스트를 모두 통과해야 승리한다. 양측은 다시 역할을 바꾼다. 따라서 이 평가는 코드 작성뿐 아니라 테스트 해석, 코드 리뷰, 디버깅, 명시되지 않은 결함 발견 능력까지 함께 살핀다.

실험 결과는 서로 다른 강점을 보여줬다

연구진은 5개 프로그래밍 언어의 15개 저장소에서 11개 모델·하네스 조합을 대상으로 1500개 턴을 진행했다. 결과는 하나의 시스템이 모든 역할에서 동시에 가장 강한 것은 아니라는 점을 보여준다. GPT-5.5와 Codex CLI는 가장 강한 해결자로 평가됐으며, 검토한 결함의 98.3%를 수정했다. Claude Opus 4.8과 mini-swe-agent는 과제 작성 능력에서 두드러졌고, Red 승률은 27.3%였다.

같은 모델 계열 안에서도 최신 버전이 만든 과제가 고정 참조 솔버를 이긴 비율은 42.9%로, 구버전이 만든 과제의 4.0%보다 높았다. 이는 과제 작성자의 능력이 향상될수록 더 강한 솔버를 구분할 수 있는 문제가 만들어질 가능성을 보여주는 예비 결과다. 다만 연구 결과는 아직 제한된 실험에 기반한다.

의미와 남은 과제

SWE-Duel은 벤치마크를 고정된 문제 모음이 아니라 평가 중 계속 생성되는 상호작용 환경으로 재정의한다. 과제와 테스트가 현장에서 만들어지면 기존 문제를 암기하는 방식의 이점을 줄일 수 있다. 구현과 코드 리뷰를 한 대결 안에 결합한 점도 실제 협업형 소프트웨어 개발에 더 가까운 평가를 가능하게 한다.

그러나 실험에 포함된 저장소, 언어, 참가자 수는 아직 제한적이다. 에이전트가 일관되게 미묘하면서도 재현 가능하고 해결 가능한 결함을 만들 수 있는지도 핵심 과제다. 앞으로 더 많은 프로젝트와 장기간의 검증이 필요하며, 에이전트가 평가 절차 자체를 공략하는 문제도 다뤄야 한다. 그럼에도 SWE-Duel은 참가자의 능력에 맞춰 계속 어려워지는 코딩 평가의 유망한 방향을 보여준다.

출처: Hugging Face Daily Papers