ExecRetrieval이 드러낸 코드 검색의 ‘유사성’과 ‘정확성’의 간극

들어가며

코드 검색은 흔히 관련 있는 코드를 찾아주는 문제로 평가된다. 하지만 코딩 에이전트와 코드 RAG에서 중요한 것은 주제나 표현이 비슷한 코드가 아니라 실제 요구된 동작을 수행하는 코드다. 코드 한 부분만 바뀌어도 결과가 달라질 수 있고, 겉모습이 거의 같은 오류 구현이 정답보다 검색 순위가 높아질 수도 있기 때문이다.

논문 《ExecRetrieval: Measuring the Functional-Correctness Gap in Code-Embedding Retrieval》은 이 문제를 검색 순위의 관점에서 직접 측정한다. 정답 구현과 한 번의 수정으로 만들어진 근접 오류 구현이 같은 후보 목록에 있을 때, 코드 임베딩이 정답을 앞에 배치할 수 있는지를 묻는다.

핵심 내용

• 통제된 반사실 코드를 검색 후보에 넣었다. ExecRetrieval은 939개의 Python 과제로 구성된다. 각 과제에는 실행 검증을 거친 정식 구현 하나와 최대 네 개의 오류 방해 항목이 있다. 오류 항목은 특정 부분을 한 번만 기계적으로 변형한 뒤, 실행을 통해 실제 오류임을 확인했다.
• 단순한 유사도 이상의 능력을 평가한다. 후보 코드들이 서로 매우 비슷하기 때문에 주제 일치, 문자열 중복, 코드 식별만으로는 좋은 순위를 만들기 어렵다. 검색기는 기능적으로 올바른 코드와 그렇지 않은 코드를 구분해야 한다.
• 상위 k개 회수와 1위 선정 사이에 차이가 있다. 연구진은 23개 밀집 임베딩 설정과 BM25를 평가했다. 가장 우수한 호스팅 시스템은 exec@10 1.00을 달성했지만 exec@1은 0.331이었다. 즉, 정답이 열 개 안에 들어오는 경우가 많아도 첫 번째 결과가 정답이라는 뜻은 아니다.
• 1위 오류는 가까운 오류 변형에 집중됐다. 네 개 선도 시스템에서 1위 실패의 91.599.4%는 해당 질의에 대응하는 근접 오류 구현이었다. 또한 전체 질의의 6778%에서는 정식 구현의 점수가 네 개의 대응 방해 항목 중 적어도 하나보다 낮았다.

의미와 영향

이 결과는 코드 임베딩의 기능적 정확성 간극을 보여준다. 모델은 프로그램의 목적, 구조, 표면적 의미를 포착할 수 있지만, 작은 수정이 실행 동작을 망가뜨렸는지까지 안정적으로 판단하지는 못한다. 에이전트가 1위 검색 결과를 컨텍스트에 넣거나 생성의 템플릿으로 활용한다면, 이런 오류는 일반적인 관련성 실패보다 더 직접적인 위험이 된다.

평가 지표를 해석할 때도 주의가 필요하다. top-k 안에 정답이 포함되는지를 측정하면 시스템이 좋아 보일 수 있지만, k를 넓히는 것만으로는 첫 번째 결과를 선택하는 다운스트림 에이전트의 문제를 해결할 수 없다. 따라서 exec@1은 우선순위 결정 능력을, exec@10은 후보 회수 능력을 보여주는 별도의 지표로 함께 보고해야 한다.

ExecRetrieval은 실행 검증, 테스트 인식 재순위화, 기능 판별기 같은 후속 방법을 비교할 수 있는 기반도 제공한다. 중요한 개선의 기준은 단순히 더 비슷한 코드를 찾는 것이 아니라, 가장 가까운 잘못된 코드보다 실제로 동작하는 구현을 먼저 고르는 것이다.

이 논문은 EMNLP 2026 메인 컨퍼런스에 채택됐다. 특정 임베딩 방식이 문제를 해결했다고 주장하기보다, 기존 관련성 중심 평가에서 가려졌던 코드 검색의 핵심 과제를 측정 가능한 형태로 제시했다는 점이 중요하다. 코드 검색에서 의미적 유사성은 기능적 정확성과 같지 않다.

출처: Hugging Face Daily Papers