평가 결과는 실제로 무엇을 입증할 수 있는가

들어가며

벤치마크 숫자는 그 자체로 의미를 보장하는 것처럼 소비되기 쉽다. 코드가 점수를 출력하면 어느 모델이 더 좋은지, 평가기는 신뢰할 만한지, 과거 비교를 재현했는지까지 알 수 있다고 생각하기 쉽다. 그러나 평가 산출물이 직접 지정하는 것은 대체로 과제, 채점기, 보고 지표로 구성된 순방향 계산이다. 그 지표에 연결된 과거 입력과 의미를 확정할 맥락까지 보존된다는 보장은 없다.

《What Does an Evaluation License?》는 이 빈틈을 ‘주장-증거’ 계층으로 명시한다. 핵심은 Inspect Evals가 실행되는지 여부만 확인하는 데 있지 않다. 남아 있는 증거가 실제로 어떤 결론을 허용하는지를 따지는 것이 핵심이다. 연구진은 특정 커밋을 기준으로 삼고, 주장 재현을 평가 과정의 별도 단계로 다룬다.

핵심 내용

• 실행 가능한 산출물과 주장의 보증은 다르다. 코드는 값이 계산되는 방식을 정의할 수 있지만, 어떤 과거 데이터를 사용해야 하는지와 지표가 어떤 의미를 갖는지까지 고정하지는 못한다.
• 주장 계층을 형식화했다. 고정된 기반 D, 의미적 근거를 갖춘 해석의 집합 F, 주장 질의 q를 설정하고, 증거와 의미에 모두 부합하는 결과들을 식별 집합으로 표현한다.
• 모든 대상 유닛에 종결 상태를 부여했다. 기계적으로 적격한 Inspect Evals 124개 유닛을 조사했으며, 110개는 필요한 과거 증거나 의미적 정초가 없어 결정적 추론 전에 중단됐다. 이는 코드가 작동하지 않는다는 뜻이 아니라, 현재 자료만으로는 더 강한 역사적 주장을 뒷받침할 수 없다는 뜻이다.
• 주장의 해상도에 따라 안정성이 달라진다. 실행이 닫힌 사례에서도 정확한 값, 승자, 전체 순위, 쌍별 관계는 서로 다른 주장이다. 한 쌍의 비교가 안정적이라고 해서 전체 순위까지 안정적이라는 의미는 아니다.
• 평가 계열을 구분했다. primary family와 review family를 나눠 관찰해, 서로 다른 목적과 의미 요구사항을 하나의 ‘강건함/비강건함’ 판정으로 뭉개지 않는다.

의미와 영향

이 접근은 재현성의 기준을 ‘스크립트가 다시 실행되는가’에서 ‘원래의 결론이 여전히 증거로 지지되는가’로 확장한다. 모델 리더보드와 자동 평가에서는 코드 저장소가 보존돼도 과거 입력, 버전 맥락, 라벨의 운영상 의미가 사라지는 경우가 많다. 따라서 현재 산출물을 실행해 얻은 값은 새로운 계산으로는 유효할 수 있지만, 과거 주장을 그대로 재현한 결과라고 단정할 수 없다.

평가 설계자는 코드와 지표뿐 아니라 고정 커밋, 과거 증거, 채점 규칙, 의미적 근거, 주장의 해상도를 함께 보관해야 한다. 평가 사용자는 ‘모델 A가 이겼다’는 문장을 볼 때, 그것이 정확한 점수에 대한 말인지, 전체 순위에 대한 말인지, 아니면 여러 해석에서도 유지되는 국소적 관계인지를 다시 물어야 한다.

연구가 제안하는 방식은 결손을 추측으로 메우지 않는 페일 클로즈드 감사다. 증거 부족이나 의미적 모호성이 있으면 유형화된 중단 사유를 반환하고, 가능한 해석에 따라 결과가 달라지면 불안정성의 증거를 제시한다. 해석을 바꿔도 유지되는 부분만 안정적인 하부 구조로 보고한다. 단일 리더보드보다 덜 단순해 보일 수 있지만, 평가가 실제로 허용하는 결론의 범위를 더 정직하게 보여주는 방법이다.

출처: Hugging Face Daily Papers