ReproBridge, 머신러닝 실험 재현을 추측에서 실행으로

배경

머신러닝 논문이 코드를 공개한다고 해서 실험을 바로 재현할 수 있는 것은 아닙니다. 라이브러리 버전, 데이터 전처리, 파라미터 설정, 실행 순서, 실패 이후의 수정 방법이 논문과 저장소, 보조 산출물에 흩어져 있기 때문입니다. 코딩 에이전트에게 재현은 스크립트를 실행하는 작업을 넘어, 문서에 드러나지 않은 절차를 복원하는 작업이기도 합니다.

ReproBridge는 한 에이전트가 복원한 절차와 판단을 보존하면 다음 에이전트의 독립적인 재현이 더 안정적으로 이루어지는지 질문합니다.

무엇을 만드는가

핵심 산출물은 Refined Reproducible Artifact, 즉 RRA입니다. RRA는 다음 네 요소로 구성됩니다.

• 정리와 수정을 거친 코드베이스
• 환경 설치 및 설정 절차
• 실험을 실행할 수 있는 런처
• 설정 이유와 수정 과정을 설명하는 재현 가이드

워크플로는 “Specify → Execute → Preserve”로 요약됩니다. 먼저 논문과 공식 저장소를 바탕으로 과제를 구체화하고, 실제 실행과 디버깅을 진행한 뒤, 효과가 확인된 절차와 의사결정을 저장합니다. 별도의 Reviewer는 보고된 수치만 보는 것이 아니라 실행 증거를 확인합니다.

ReproBridge-Bench는 36개 논문의 387개 실험에서 뽑은 1029개 과제로 구성됩니다. 각 과제에는 사람의 독립 재현 5회에서 얻은 검증 점수가 연결돼 있어, 한 번의 실행 결과만으로 성공 여부를 판단하지 않습니다. 에이전트는 새로운 세션에서 원본 코드와 RRA를 각각 사용하며, 과제는 고정하고 전달 자료만 바꿉니다.

주요 결과와 의미

4개 코딩 에이전트를 평가한 결과, RRA를 사용하면 평균 재현 성공률이 76.4%에서 92.6%로 상승했습니다. 후속 API 비용은 평균 19.7% 감소했습니다. 모델 간 성공률 격차도 21.6%포인트에서 3.9%포인트로 줄었고, 평가된 네 모델 모두 평균 90%를 넘었습니다. 구성 요소를 하나씩 제거한 실험에서는 모든 요소가 성능에 기여했으며, 특히 코드와 환경 정보를 제거했을 때 하락폭이 컸습니다.

이 결과가 시사하는 바는 재현성이 공개된 파일의 양만으로 결정되지 않는다는 점입니다. 실행 과정에서 어떤 판단을 했고, 실패를 어떻게 해결했는지를 보존하는 것도 중요합니다. 저장소가 구현을 전달한다면, RRA는 검증된 실행 경로를 전달하려는 시도에 가깝습니다.

다만 평가의 한계도 확인해야 합니다. Auditor는 출력 파일, 실행 기록, 스크립트를 추적하며, 818개 결과를 두 명의 사람 검토자와 비교했을 때 정밀도는 88.6%, 재현율은 79.5%였습니다. 또한 코드와 데이터는 아직 내부 검토 중입니다. 따라서 ReproBridge의 결과는 유망한 워크플로와 평가 설계로 볼 수 있지만, 더 넓은 독립 검증이 필요합니다.

Hugging Face Daily Papers