같은 방식으로 학습해도 서로 다른 탈옥 공격에 무너지는 언어 모델

탈옥 평가에서 놓치기 쉬운 변수

탈옥 벤치마크는 대개 하나의 체크포인트를 평가하고, 어떤 공격이 성공했는지를 모델의 학습 데이터나 안전성 조정의 특성으로 해석한다. 이번 연구는 같은 데이터와 같은 안전성 학습 절차를 사용하더라도 사전학습 시드만 바꾸면 동일한 탈옥 공격이 통할지 질문했다.

연구 결과는 그렇지 않을 수 있음을 보여준다. 탈옥 취약성은 데이터 구성이나 안전성 목표뿐 아니라 특정 사전학습 실행에도 강하게 연결되어 있었다.

실험 구성과 핵심 결과

연구진은 25개 사전학습 데이터 구성마다 3개의 사전학습 시드로 모델을 만들고, 각 모델에 동일한 안전성 후처리를 2개의 시드로 적용했다. 모두 150개 모델이며, 주요 실험 규모는 10억 파라미터였다. 1억5000만 및 3억 파라미터에서도 같은 경향이 관찰됐다. 각 모델은 공통 탈옥 프롬프트에 20회씩 응답했고, 프롬프트별 비거부율을 모델 간 비교에 사용했다.

주요 수치는 다음과 같다.

• 같은 사전학습 실행에서 나온 두 안전성 학습 모델의 프롬프트별 비거부율 상관관계는 평균 0.984였다.
• 사전학습 시드만 바꾸면 상관관계가 0.811로 낮아졌다.
• 데이터 구성까지 바꾸면 0.779가 됐다.
• 91개 공격 템플릿 중 한 체크포인트에서 가장 좋았던 템플릿이 새로운 사전학습 시드에서도 최고 성능을 유지한 비율은 27%였다. 안전성 학습 시드를 바꾼 경우에는 67%였다.

이는 안전성 학습의 무작위성도 영향을 주지만, 새로운 사전학습 실행이 데이터 구성을 바꾸는 것에 가까운 수준으로 탈옥 프로필을 바꿀 수 있음을 뜻한다. 다만 ‘최고의 템플릿’ 순위 자체에도 잡음이 있다. 같은 사전학습 실행에서 나온 안전성 학습 복사본끼리도 약 3분의 1은 최고 템플릿이 달랐다. 따라서 27%라는 수치는 모든 공격 결과가 완전히 뒤바뀐다는 뜻이라기보다 공격 순위가 불안정하다는 의미로 해석해야 한다.

사전학습 실행이 남기는 지문

연구는 사전학습 실행마다 구별 가능한 행동 지문이 남는다는 점도 보여줬다. 3211개 프롬프트를 사용하면 모델의 프롬프트별 비거부율로 75개 사전학습 실행 중 출처를 매번 식별할 수 있었다. 무작위로 고른 50개 프롬프트만 사용해도 식별 정확도는 98%였다.

이는 모델 평가와 공급망 관리에 중요한 의미를 갖는다. 특정 체크포인트에서 수행한 레드팀 결과에는 해당 실행에만 나타나는 특성이 포함될 수 있으며, 모델 이름만으로는 이를 알 수 없다. 공급업체가 기반 모델을 조용히 교체하면 이름과 전반적인 학습 구성이 같아도 기존 탈옥 결과가 현재 배포 모델을 설명하지 못할 수 있다.

그러나 이 지문을 즉시 실전 업데이트 탐지기로 간주해서는 안 된다. 실험에서는 후속 학습 절차가 동일했고, 알려진 75개 실행 중에서 출처를 판별했다. 실제 업데이트는 미세조정이나 안전성 학습 절차도 바꿀 수 있다. 따라서 이 방법은 완성된 인증 수단보다는 재평가가 필요한지 알려주는 신호로 보는 편이 적절하다.

의미와 한계

이번 연구는 탈옥 평가의 기준을 모델 계열에서 개별 학습 실행으로 확장한다. 안전성 보고서는 모델 이름이나 단일 벤치마크 점수만 기록하기보다 실행별 정보를 남기고, 모델 업데이트 뒤 반복 평가를 수행해야 할 수 있다.

동시에 상관관계와 공격 템플릿 순위는 프롬프트 집합에서의 통계적 유사성을 보여줄 뿐, 모든 응답이 동일하다는 뜻이나 실제 배포 위험의 전체 측정치는 아니다. 연구진은 코드, 가중치, 프롬프트별 라벨을 공개해 더 큰 모델과 실제 업데이트 절차에서 후속 검증할 수 있는 기반을 제공했다.

출처: Hugging Face Daily Papers