CLEAR: 모델 유용성을 보존하는 동적 LLM 안전 정렬

서론

대규모 언어 모델의 안전 정렬에는 오래된 딜레마가 있다. 안전 데이터로 모델 전체를 미세조정하면 유해한 생성을 줄일 수 있지만, 동시에 일반적인 질문을 처리하는 방식까지 바뀔 수 있다. 그 결과 정상적인 요청을 지나치게 거부하거나 기존 추론 능력의 일부를 잃을 가능성이 있다. 일리노이대학교 연구진이 제안한 CLEAR는 안전 개입을 항상 적용하는 대신, 필요한 입력에 선택적으로 적용하려는 접근이다.

작동 방식

CLEAR는 Continuous Latent Adapter Routing의 약자다. 기본 모델을 광범위하게 수정하는 대신, 모델의 숨은 상태를 입력으로 받는 경량 게이트를 추가하고 안전용 저랭크 어댑터의 활성화 강도를 연속적으로 조절한다. 더 강한 안전 개입이 필요한 입력에서는 어댑터의 영향력을 키우고, 무해한 프롬프트에서는 불필요한 개입을 줄이는 방식이다.

이 설계는 표준 LoRA나 전역 안전 SFT와 구별된다. 전역 방식은 학습된 변화를 모델의 전반적인 행동에 적용하지만, CLEAR는 입력에 따라 안전 업데이트의 영향이 달라지도록 만든다. 또한 단순히 켜고 끄는 이진 선택이 아니라, 내부 표현에 맞춰 개입 수준을 연속적으로 바꾼다. 목표는 위험한 요청에는 더 강한 안전 보정을 적용하고, 일반 과제에서는 기본 모델의 능력을 최대한 유지하는 것이다.

보고된 실험 결과

논문은 안전성과 유용성을 함께 측정하는 벤치마크에서 CLEAR를 평가했다. Llama-3-8B-Instruct에서는 HarmBench 공격 성공률, 즉 ASR이 32.3%에서 0.5%로 감소했다. GSM8K에서는 전역적으로 적용한 SFT 또는 LoRA보다 정확도가 최대 7.1%포인트 높았다. 제공된 자료는 CLEAR가 기본 모델의 유용성 대부분을 유지했다고 설명한다. 다만 전체 벤치마크 표와 학습 설정, 계산량 및 추론 지연에 대한 세부 정보는 현재 자료만으로 확인하기 어렵다.

의미와 한계

CLEAR의 핵심 의미는 안전 정렬의 적용 단위를 세분화했다는 데 있다. 안전 기능을 모든 입력에 동일하게 적용하는 대신, 모델의 내부 상태에 따라 영향력을 조절할 수 있는 계층으로 다룬다. 이 경향이 더 많은 모델과 공격 유형, 실제 배포 환경에서도 재현된다면 파라미터 효율적인 안전 정렬을 위한 새로운 설계 방향이 될 수 있다.

그러나 아직 판단을 유보해야 할 지점도 있다. 제공된 요약만으로는 새로운 탈옥 공격에 대한 견고성, 다른 백본 모델로의 일반화, 추가 게이트의 운영 비용을 알 수 없다. 거부 응답의 적절성과 게이트의 보정 품질 역시 별도 검증이 필요하다. 따라서 CLEAR는 안전성과 유용성의 긴장을 완전히 해결한 방법이라기보다, 선택적 안전 개입을 구현하는 유망한 메커니즘으로 보는 편이 정확하다.

출처: Hugging Face Daily Papers