테스트 통과만으로는 부족하다: 코드 모델이 과도하게 수정하는 이유

들어가며

대규모 언어 모델이 코드를 수정할 때 테스트를 통과하는 것은 출발점에 가깝다. 실제 개발 환경에서는 패치가 작고 검토하기 쉬우며, 기존 구현의 의도도 보존해야 한다. 특정 버그를 고치는 과정에서 모델이 관련 없는 로직까지 다시 작성하면, 코드 리뷰와 회귀 테스트의 부담이 커지고 실제 변경 사항을 파악하기도 어려워진다.

Hugging Face Daily Papers에 소개된 연구는 이러한 현상을 ‘과도한 편집’이라는 관점에서 분석한다. 과도한 편집은 버그를 해결하는 데 필요한 범위를 넘어 코드를 변경하는 모델의 경향을 뜻한다.

정답 여부만으로는 부족한 평가

연구진은 400개의 BigCodeBench 문제를 바탕으로 참조 해답에 AST 수준의 통제된 오류를 주입했다. 오류를 어떻게 넣었는지 알고 있기 때문에, 원래 해답을 복원하는 데 필요한 최소 패치를 계산할 수 있다. 따라서 모델의 결과를 단순히 실행 가능 여부로만 판단하지 않고, 최소 수정안에서 얼마나 벗어났는지도 비교할 수 있다.

이 평가 체계는 Pass@1 외에 다음과 같은 요소를 확인한다.

• 모델이 관련 없는 코드를 변경했는가
• 생성된 패치가 최소 패치와 얼마나 다른가
• 수정 과정에서 인지적 복잡도가 증가했는가
• 올바른 동작을 복구하면서 기존 구현을 유지했는가

실험 결과, 과도한 편집은 성능이 낮은 모델에만 나타나는 문제가 아니었다. GPT-5.5를 포함한 프론티어 모델도 높은 Pass@1을 기록하면서 필요 이상으로 큰 패치를 만들 수 있었다. 이는 기능적 정확성과 편집 충실도가 서로 대체할 수 없는 별개의 품질 기준임을 보여준다.

보존 지시가 만드는 변화

연구진은 기존 구현을 보존하고 꼭 필요한 부분만 수정하라고 명시하는 지시를 추가로 시험했다. 그 결과 평균 초과 Levenshtein 거리는 0.195에서 0.131로 줄었고, 추가된 인지적 복잡도는 26.6% 감소했다. 동시에 Pass@1은 2.3%포인트 상승했다.

다만 더 큰 모델이나 더 많은 추론 예산이 자동으로 더 신중한 편집을 만든 것은 아니었다. 모델이 코드를 잘 다시 쓰는 능력과, 변경해서는 안 되는 경계를 판단하는 능력은 다를 수 있다. 코드 수정 작업에서는 절제된 행동을 명시적으로 지시하거나 학습시켜야 한다는 뜻이다.

후훈련 방식이 주는 시사점

후훈련 비교에서 지도 미세조정은 학습 중 접한 오류 패턴에는 효과적이었지만, 새로운 패턴으로 넘어가면 과적합 경향을 보였다. 강화학습은 분포 밖 상황에서 편집 충실도를 높이면서도 수정 성능을 유지하는 균형 면에서 더 좋은 결과를 냈다.

코드 에이전트를 만드는 개발자에게 이 연구가 주는 메시지는 분명하다. 테스트 통과율은 여전히 중요하지만 유일한 목표가 되어서는 안 된다. 패치 크기, 불필요한 변경, 인지적 복잡도, 사람의 검토 비용도 함께 평가하고 최적화해야 한다. 사용자는 단순히 추론 예산을 늘리는 대신 “가장 작은 수정만 수행하고 관련 없는 리팩터링은 하지 말라”고 요청하는 편이 더 효과적일 수 있다.

이 연구의 핵심 기여는 최소 편집을 코드 복구 품질의 독립적인 축으로 제시한 데 있다. 요청된 대규모 리팩터링을 부정하는 것은 아니다. 다만 국소적인 버그 수정에서는 무엇을 바꾸지 않아야 하는지 판단하는 능력도 측정하고 학습할 수 있다는 점을 보여준다.

출처: Hugging Face Daily Papers