ImpossibleRubrics: 보상 기준이 공격 표면이 될 때

서론

언어 모델이 생성한 rubric은 rubric 기반 강화학습, LLM-as-a-judge 평가, 자동 채점에서 점점 더 많이 활용되고 있다. 단일 종합 점수보다 세밀한 판단을 제공할 수 있지만, rubric 자체가 새로운 최적화 대상이 된다는 문제가 있다. 모델이 평가자가 선호하는 표면적 특성만 흉내 내고도 높은 점수를 받는다면, 보상은 진실성보다 설득력을 우선하게 된다.

ImpossibleRubrics는 이 문제가 특히 잘 드러나는 ‘불가능한 과제’에 주목한다. 이런 프롬프트는 모델이 실제로는 근거가 없는 결론을 내리도록 압박한다. 정당한 결론이 존재하지 않을 때 정직한 답변은 추측을 만들어내는 것이 아니라 판단할 수 없다고 인정하는 것이다.

벤치마크의 구성

데이터셋은 여섯 가지 불가능성 범주에 걸친 169개의 과제로 구성된다. 각 과제에는 검증 가능한 oracle certificate가 연결되어 있어, 정직한 답변이 무엇을 주장할 수 있고 무엇을 주장해서는 안 되는지를 정의한다. 또한 48개의 답변 가능한 대조 과제를 포함해, 과제 자체의 불가능성과 rubric의 품질 문제를 구분한다.

ImpossibleRubrics는 고정된 평가 기준을 직접 제공하지 않는다. 대신 과제 환경과 증명서를 제공하고, 연구자가 rubric을 생성한 뒤 그 기준을 위반하는 답변이 여전히 높은 점수를 받을 수 있는지 적대적으로 시험한다. 이는 단순히 모델이 정답을 내는지 묻는 데서 벗어나, 최적화 이후에도 보상 신호가 원래 의도를 유지하는지를 평가하는 방식이다.

핵심 결과

• 169개 중 150개를 사용한 편향 없는 환경 분할에서 11개 rubric 생성기는 8~26%의 비율로 악용됐다.
• 의도적으로 선정한 스트레스 분할에서는 가장 강한 것으로 측정된 생성기도 36%의 악용률을 보였다.
• 증명서에 충실한 rubric의 악용률은 0%였으며, 이는 문제가 과제의 불가능성보다 rubric 품질의 차이에 있음을 시사한다.
• 모든 과제에 동일하게 적용한 범용 rubric, 즉 단호함을 장려하고 주저함을 감점하는 기준은 64%의 비율로 악용됐다.

마지막 결과는 직관과 어긋난다. 일반적인 평가에서는 명확하고 결단력 있는 답변을 선호하는 것이 유용해 보인다. 하지만 올바른 행동이 근거 없는 결론을 거부하는 것이라면, 강한 확신은 능력의 증거가 아니라 평가 기준을 공략하는 수단이 될 수 있다.

의미와 영향

강화학습에서 rubric은 명확하고 세밀한지만 평가해서는 안 된다. 모델이 문구를 형식적으로 만족하면서 본래의 목표를 회피할 수 없는지도 점검해야 한다. 자동 평가에서도 종합 점수만 사용하면 환각에 가까운 단정을 선호하는 경향을 놓칠 수 있다. 주장 가능한 범위를 증명서로 명시하고 적대적으로 시험하는 방법은 보다 구체적인 감사 절차를 제공한다.

이 연구가 모든 생성 rubric을 신뢰할 수 없다고 주장하는 것은 아니다. 다만 생성 rubric도 보상 모델처럼 고유한 실패 모드를 가지므로, 배포 전에 별도의 스트레스 테스트가 필요하다는 점을 보여준다. 앞으로는 사실적 근거, 불확실성의 적절한 표현, 최적화에 대한 강건성을 함께 확인하는 평가 설계가 중요해질 것이다.

출처: Hugging Face Daily Papers