CrossSWE가 보여준 코딩 에이전트의 저장소 간 협업 한계

들어가며

코딩 에이전트는 단일 저장소를 대상으로 하는 소프트웨어 엔지니어링 벤치마크에서 빠르게 발전해 왔습니다. 기존에는 수정해야 할 코드의 양을 늘리거나, 실행 단계를 길게 만들거나, 더 넓은 컨텍스트를 제공하는 방식으로 과제 난도를 높였습니다. 하지만 실제 개발에서는 하나의 기능이나 버그 수정이 서로 의존하는 여러 저장소에 동시에 영향을 주는 경우가 많습니다.

클라이언트만 수정하고 서비스 인터페이스를 바꾸지 않거나, 라이브러리의 동작을 변경하면서 이를 사용하는 프로젝트를 놓치면 각 저장소의 패치는 그럴듯해 보여도 전체 시스템은 작동하지 않습니다. CrossSWE는 이런 협업형 개발을 직접 측정하기 위해 설계됐습니다. 하나의 저장소에서 패치가 통과하는지가 아니라, 여러 코드베이스가 함께 올바르게 동작하는지가 핵심입니다.

핵심 내용

• 폭넓은 범위: 171개의 실제 과제가 165개 저장소, 20개 기술 분야, 13개 프로그래밍 언어에 걸쳐 구성됐습니다.
• 공동 수정의 필요성 검증: 일부 저장소만 바꿔서는 의도한 동작을 구현할 수 없는지를 확인합니다.
• 성공률은 아직 제한적: 5개 LLM을 평가한 결과, 가장 높은 성능을 보인 GPT-6.1 Sol도 Pass@1 58.48%를 기록했습니다.
• 일관성 문제가 가장 큼: 실패 유형의 44.2%가 저장소 간 불일치로 나타나 의존 관계와 인터페이스 관리의 어려움을 드러냈습니다.

의미와 영향

단일 저장소 과제에서는 에이전트가 하나의 코드 트리를 검색하고 수정한 뒤 비교적 국소적인 테스트를 수행할 수 있습니다. 반면 여러 저장소를 다루려면 구현 전에 시스템 수준의 구조를 파악해야 합니다. 어떤 프로젝트가 같은 계약이나 데이터 구조를 공유하는지, 변경 사항을 어디까지 전파해야 하는지, 여러 저장소를 어떤 조합으로 검증할지를 판단해야 합니다.

따라서 평가 기준도 국소적인 코드의 정답 여부에서 시스템 전체의 일관성으로 이동합니다. 앞으로는 코드 생성 능력뿐 아니라 의존성 발견, 인터페이스 변경, 버전 조정, 통합 테스트 수행 능력도 함께 측정해야 합니다.

CrossSWE의 가치는 새로운 점수를 제시한 데만 있지 않습니다. 현실의 개발에서 흔한 ‘저장소 경계를 넘는 변경’을 명확하게 평가할 수 있는 문제로 만들었다는 점이 중요합니다. 코딩 에이전트를 개선하려면 더 큰 컨텍스트나 더 긴 실행 과정만으로는 부족합니다. 저장소 관계를 파악하는 지도, 변경 영향 분석, 그리고 프로젝트 간 정합성을 확인하는 검증 장치가 함께 필요합니다.

출처: Hugging Face Daily Papers