그래디언트를 따라가며 대규모 모델의 안전성 저하 데이터를 찾다

대규모 언어 모델의 안전성은 배포 이후의 거부 응답만으로 결정되지 않는다. 일반적인 지시문 미세조정도 모델의 행동을 바꿀 수 있으며, 그 원인이 되는 데이터가 반드시 위험한 문장이나 공격 프롬프트를 포함하는 것은 아니다. 표면적으로는 무해한 예제가 모델 파라미터를 안전하지 않은 방향으로 움직일 수 있다는 뜻이다.

Hugging Face Daily Papers에 소개된 ‘Follow the Gradient: Tracing Safety Degradation Back to Training Data’는 이 문제를 학습 데이터의 그래디언트 관점에서 추적한다. 연구진이 제안한 SimpleLoRIF는 각 학습 예제가 모델에 가하는 업데이트 방향을 벡터로 표현하고, 이를 안전하지 않은 응답과 연관된 방향과 비교한다. 텍스트 자체가 아니라 모델의 변화 방향을 기준으로 위험 신호를 찾는 접근이다.

백만 개 규모의 데이터셋을 겨냥한 설계

전체 파라미터에 대한 그래디언트 귀속은 데이터와 모델이 커질수록 계산량이 급격히 늘어난다. SimpleLoRIF는 저랭크 귀속 기법을 단순화하고 역전파를 Transformer의 마지막 네 개 블록으로 제한한다. 그 결과 각 예제의 그래디언트를 비교 가능한 임베딩으로 만들면서, 약 백만 개 수준의 데이터셋도 분석할 수 있도록 확장성을 확보했다.

주요 결과

• 창발적 미스얼라인먼트 실험에서 그래디언트는 안전하지 않은 코드 학습 데이터와 미세조정 이후 나타난 광범위한 유해 행동을 연결했다. 미스얼라인된 모델의 그래디언트 공간에서 보고된 최고 AUC는 0.865였다.
• 연구진은 Tulu 3에서 안전하지 않은 응답과 그래디언트상 가장 강하게 연결된 20%의 예제를 제거한 SafeTulu를 만들었다.
• Qwen, Llama, Olmo에서는 GCG 공격 성공률이 최대 22% 감소했다.
• 이 방식은 LLM을 평가자로 사용하는 필터와 기존 그래디언트 기반 필터보다 나은 결과를 보였으며, 모델 능력은 대체로 유지됐다. 일부 설정에서는 능력이 개선되기도 했다.

왜 중요한가

기존 데이터 필터는 유해 키워드, 위험한 지시, 명시적인 공격 패턴처럼 문장에 드러난 신호를 주로 본다. 그러나 이번 연구는 같은 데이터라도 모델의 기존 상태와 결합해 어떤 업데이트를 만들느냐가 중요할 수 있음을 보여준다. 개별적으로는 무해해 보이는 샘플도 누적되면서 거부 능력이나 일반적인 안전 행동을 약화할 수 있다.

제거된 데이터에 대한 분석에서는 도구 실행 실패와 서사적 산술 같은 요소가 아직 충분히 연구되지 않은 안전성 저하 요인일 수 있다는 가능성도 제시됐다. 이는 해당 주제의 데이터가 본질적으로 유해하다는 의미가 아니다. 작업 형식, 문맥, 모델의 기존 행동이 안전성에 미치는 상호작용을 더 정밀하게 살펴봐야 한다는 뜻에 가깝다.

SimpleLoRIF가 레드팀 테스트나 실제 서비스 모니터링을 대체하는 것은 아니다. 대신 훈련 전에 대규모 데이터에서 특정 안전 위험과 그래디언트상 가까운 샘플을 우선 검토하게 해주는 도구가 될 수 있다. 최종 가중치의 안전성만 평가하는 것이 아니라, 그 가중치를 만든 데이터와 업데이트 과정까지 추적해야 한다는 점이 이번 연구의 가장 큰 시사점이다.

출처: Hugging Face Daily Papers