RealSWE: 실제 사용자 요청으로 다시 보는 코딩 에이전트 평가

들어가며

코딩 에이전트는 실제 개발자가 보내는 요청을 해결하고 있을까요, 아니면 잘 정리된 벤치마크 티켓에 대응하고 있을까요? RealSWE는 일상적인 소프트웨어 요청과 SWE-bench 계열 문제문 사이의 차이를 분석했습니다. 벤치마크 문제는 대체로 길고 공식적이며 필요한 정보가 잘 갖춰져 있지만, 실제 요청은 짧고 구어체이며 핵심 맥락이 빠진 경우가 많다는 점이 출발점입니다.

입력의 현실성에서 드러난 격차

연구진은 정보 내용을 여섯 가지 범주로 나누고, SWE-chat의 실제 사용자 프롬프트와 SWE-bench Verified 및 Pro의 문제문을 비교했습니다. 언어 스타일도 네 가지 차원에서 분석했습니다. 주요 결과는 다음과 같습니다.

• 문제 설명만 담거나 제한적인 맥락만 추가한 요청은 실제 프롬프트의 88%를 차지했지만, 벤치마크 문제에서는 7%에 그쳤습니다.
• 실제 요청의 87%는 캐주얼한 문체였지만, 벤치마크 문제의 94%는 공식적인 문체였습니다.
• RealSWE는 381개의 다중 변형 task family로 구성됩니다. 각 family는 동일한 기본 과제와 gold patch를 유지하고, 정보 구성과 문체만 바꿉니다.
• 현대적인 LLM 7종을 평가한 결과, 현실적인 입력은 평균 해결률을 6.4%포인트 낮췄으며 모델 순위도 바꿀 수 있었습니다.

어떤 정보가 실제로 도움이 되는가

통제된 분석은 “맥락은 많을수록 좋다”는 단순한 결론을 뒷받침하지 않습니다. 수정 후 소프트웨어가 어떻게 동작해야 하는지, 즉 원하는 동작을 명시하고 왜 변경이 필요한지 동기를 설명하면 모델 성능에 유의미한 영향을 줬습니다. 반면 환경 정보와 재현 절차는 토큰 수만 늘렸을 뿐, 보고된 분석에서는 측정 가능한 추가 이점을 보이지 않았습니다. 문체의 영향은 상대적으로 작았고 모델마다 달랐습니다.

사용자에게 필요한 것은 모든 요청을 완성도 높은 엔지니어링 티켓으로 바꾸는 일이 아닙니다. 짧게 질문하더라도 가능한 한 기대하는 결과와 변경 이유를 함께 적는 것이 핵심입니다. 에이전트 개발자에게는 더 중요한 경고가 있습니다. 정보가 풍부하고 정돈된 벤치마크에서 높은 점수를 얻었다고 해서 실제 개발자의 불완전한 요청까지 잘 처리한다고 볼 수는 없습니다.

평가 방법론에 주는 의미

RealSWE의 강점은 입력 조건과 실제 코드 수정 과제를 분리했다는 데 있습니다. 같은 과제와 gold patch에 여러 입력 변형을 대응시키면, 모델이 애매한 요청을 스스로 해석하는지 아니면 벤치마크가 제공하는 친절한 정보에 의존하는지를 살펴볼 수 있습니다. 이는 프롬프트 설계, 에이전트 인터페이스, 향후 코딩 에이전트 벤치마크 구성에 실용적인 기준을 제공합니다.

다만 이 결과는 SWE-bench Verified와 Pro에서 파생된 과제를 대상으로 하며, 분석의 초점도 정보 구성과 언어 스타일에 맞춰져 있습니다. 따라서 모든 소프트웨어 엔지니어링 상황을 대표하는 결론으로 확대해서는 안 됩니다. 그럼에도 실제 사용 경험을 평가하려면 정리된 문제문뿐 아니라 사용자가 실제로 어떤 방식으로 도움을 요청하는지도 함께 시험해야 한다는 메시지는 분명합니다.

출처: Hugging Face Daily Papers