Harness인가 모델인가? 코딩 에이전트의 ‘순정 조합’ 가설 검증

들어가며

에이전트형 코딩 시스템의 성능은 언어 모델 하나로 결정되지 않는다. 도구, 프롬프트, 작업 분해 방식, 제어 흐름, 종료 조건을 묶은 harness가 대화형 모델을 자율적인 소프트웨어 엔지니어로 바꾼다. 각 업체는 자사 모델에 맞춘 순정 harness를 제공하고, 사용자들은 자연스럽게 이 조합이 더 많은 문제를 해결한다고 가정한다. 이번 arXiv 연구는 완제품을 단순 비교하는 대신 같은 모델에 다른 harness를 연결해 이 가정을 시험했다.

핵심 결과

• 데이터 오염 가능성을 낮추기 위해 256개의 저장소 과제와 모델 학습 시점 이후에 출제된 콘테스트 과제로 구성된 비공개 테스트 스위트를 사용했다.
• Claude Opus 4.8에서는 claude-agent-sdk와 deepagents를, GPT-5.5에서는 OpenAI Codex SDK와 deepagents를 비교했다. 주요 대조에는 모델별로 동일한 80개 과제가 사용됐고, Gemini 3.5 Flash와 DeepSeek V3.2는 보조 셀로 포함됐다.
• 계획된 800회 실행 중 792회가 독립 채점 오라클의 평가를 받았다. Opus의 두 harness 성공률은 48.8%와 50.0%로 차이는 -1.25%포인트였다. GPT-5.5는 55.6%와 54.4%로 차이가 +1.25%포인트였다. 두 결과 모두 신뢰구간이 0을 포함해 평균적인 우위를 확정하지 못한다.
• Opus의 전체 평균은 과제 구성을 가렸다. 61개 저장소 과제에서는 순정 harness가 9.0%포인트 뒤졌지만, 19개 콘테스트 과제에서는 23.7%포인트 앞섰다. 다만 이 구분은 데이터를 확인한 뒤 선택됐으므로, 저자들은 최종 결론이 아니라 재현이 필요한 가설로 제시한다.
• 정확성과 완료 여부도 일치하지 않았다. 벽시계 제한으로 취소된 81회 실행 중 22회는 이미 채점에 통과하는 패치를 생성했다. 타임아웃을 모두 단순 실패로 처리하면 에이전트의 능력을 과소평가할 수 있다는 뜻이다.

비용 해석의 주의점

고정된 공개 가격과 턴별 원시 사용량으로 다시 계산했을 때, Opus에서는 중립 harness의 해결 과제당 비용이 순정 구성의 약 1.31.6배, GPT-5.5에서는 약 1.2배였다. 그러나 Anthropic 계정의 58회 실행에는 사용량 기록이 없었다. 누락 비용을 어느 셀에 배분하느냐에 따라 Opus 비용 비율은 0.72.3까지 변할 수 있어, 실제 청구액 기준의 우열은 미정이다. 이번 개정판은 과거 원고의 비용 수치가 자체 텔레메트리 의미 해석 오류에 영향을 받았다는 점도 바로잡았다.

의미와 영향

이 연구가 모든 harness가 같다고 증명한 것은 아니다. 핵심 메시지는 순정 최적화를 당연한 사실로 받아들이지 말고, 같은 모델과 같은 과제를 사용해 검증해야 한다는 것이다. 실제 도입 평가에서는 전체 성공률만 제시할 것이 아니라 과제 유형, 타임아웃 정책, 통과 패치 처리 방식, 사용량 기록을 함께 공개해야 한다. 연구진은 오케스트레이터, 채점 오라클, 재분석 코드와 파생 집계 데이터를 공개했지만 과제 자체는 비공개로 유지한다. 더 강한 결론을 위해서는 사전에 정한 과제 구분과 독립적인 반복 실험이 필요하다.

출처: arXiv