안전 벤치마크가 측정하는 것은 능력일까, 학습된 정책일까

들어가며

안전 벤치마크에서 높은 점수를 받은 가드레일은 일반적으로 유해한 요청을 더 잘 찾아내고 정상적인 요청은 덜 거부하는 모델로 해석된다. 그러나 Hugging Face Daily Papers에 소개된 연구는 이런 해석이 충분하지 않을 수 있다고 지적한다. 모델이 학습하는 것은 텍스트에 내재한 보편적인 위험성이 아니라, 라벨에 반영된 운영 정책일 수 있기 때문이다.

같은 프롬프트, 다른 정책

연구진은 한 산업 배포 과정에서 만들어진 독특한 데이터를 활용했다. 약 5만3000개의 동일한 프롬프트가 두 번 라벨링됐는데, 한 기준은 “유해한 콘텐츠를 요청하는가”를 물었고 다른 기준은 “모더레이터가 차단할 것인가”를 물었다. 연구진은 이 두 라벨을 사용해 같은 아키텍처, 코드베이스, 옵티마이저 계열을 공유하는 가드레일 모델 열 개를 두 가지 규모로 학습했다. 이를 통해 모델 설계보다 라벨 정책의 영향을 비교하려 했다.

핵심 결과는 다음과 같다.

• 학습 풀에는 과도한 거부를 측정하는 벤치마크의 상당 부분이 이미 포함돼 있었다. JailbreakBench-benign의 약88%, OR-Bench-hard의 약82%가 학습 풀에 존재했다. 이후 분석은 오염을 제거한 뒤 진행됐다.
• 벤치마크마다 정책 민감도가 크게 달랐다. 열 개 모델에서 HarmBench-copyright의 변동 폭은 0.99였지만 WildGuard-benign은 0.043에 그쳤다. 두 폭의 차이는 약 23배다.
• 약 0.03%의 파라미터만 바꿔도 일부 벤치마크 점수가 관측된 전체 범위를 이동했다. HarmBench-copyright는 0에서 100까지, OR-Bench-hard의 과도한 거부율은 3.4%에서 56.4%까지 나타났다.
• 마지막 감독 신호에 어떤 정책이 사용됐는지에 따라 모델은 관련 벤치마크의 한쪽 극단에 가까워졌다. 하지만 기본적인 탐지 능력이 같은 정도로 달라졌다는 뜻은 아니다.

증류 과정에 남는 교사 정책

문제는 하드 라벨 학습에만 존재하지 않는다. 연구에 따르면 학생 모델은 교사 모델의 소프트 라벨을 통해 특정 정책을 물려받을 수 있다. 학생 모델의 하드 라벨이 모두 다른 정책에서 왔더라도, 교사가 제공한 확률 분포가 거부 경계를 바꿀 수 있다는 의미다. 따라서 공개 체크포인트를 평가할 때 교사 모델의 출처와 라벨 생성 방식은 중요한 변수가 된다.

검증 정확도도 같은 문제를 보여준다. 모든 모델을 동일한 기준으로 채점한 분할에서 정확도는 탐지 능력보다 주석자의 정책과의 일치도와 더 강하게 연관됐다. 상관계수는 정책 일치도가 0.74, 탐지 능력이 0.34였다. 즉 높은 검증 정확도가 안전성에 대한 일반화된 이해를 뜻하기보다, 평가자가 정한 차단 기준을 재현한 결과일 수 있다.

안전 평가에 주는 의미

이 연구가 안전 벤치마크가 무의미하다고 말하는 것은 아니다. 가드레일은 실제 제품 정책에 따라 배포되며, 위험 누락을 줄이기 위해 엄격하게 차단하는 설계와 정상 요청의 오거부를 줄이는 설계 모두 특정 상황에서는 타당하다. 다만 어떤 정책에 기반한 점수인지 밝히지 않은 채, 하나의 점수를 보편적인 안전 능력으로 홍보하는 것이 문제다.

연구진은 앞으로 학습 데이터 오염 여부, 충분한 랜덤 시드 수, 정확한 채점 정의, 교사 모델과 소프트 라벨의 출처를 함께 보고해야 한다고 주장한다. 정책과의 일치도와 실제 탐지 능력을 분리해 제시해야 가드레일 비교가 더 투명하고 과학적으로 의미 있어질 것이다.

출처: Hugging Face Daily Papers