MARS, 텍스트 거부 방향으로 멀티모달 모델 안전성 제어

이미지와 영상을 이해하는 멀티모달 대규모 언어 모델은 더 넓은 입력을 다룰 수 있지만, 그만큼 안전 문제도 복잡하다. 기존 정렬 방식은 이미지와 영상 등 각 모달리티에 맞는 유해 샘플을 수집한 뒤 추가 학습이나 활성화 제어를 적용하는 경우가 많다. 그러나 모달리티별 안전 데이터는 수집 비용이 높고 모든 위험 유형을 포괄하기 어렵다. 데이터 수집과 배포 과정에서 윤리적·법적 우려도 발생할 수 있다.

Hugging Face Daily Papers에 소개된 Harnessing Textual Refusal Directions for Multimodal Safety 연구는 다른 접근을 살펴본다. 거부 응답이 단순한 언어 표면의 패턴이 아니라 모델 내부 표현 공간에서 비교적 안정적인 방향으로 나타난다면, 텍스트에서 추출한 방향을 시각 입력에도 적용할 수 있지 않겠느냐는 가설이다. 연구진은 초기 결과를 통해 이런 전이가 가능함을 확인했지만, 그 효과가 자동으로 보장되는 것은 아니라고 설명한다.

핵심 내용

• 거부 방향의 모달리티 간 전이. 멀티모달 모델이 사용하는 언어 모델 백본에서 거부 관련 방향을 추출하므로, 이미지와 영상에 대해 별도의 안전 데이터셋을 새로 구축할 필요를 줄인다.
• 여러 조건이 결과를 좌우한다. 개입 레이어, steering 강도, 모달리티 사이의 표현 정렬 정도가 성능에 영향을 준다. 정렬이 부족하면 안전한 입력도 거부 쪽으로 잘못 유도될 수 있다.
• MARS의 선택적 제어. Modality-Agnostic Refusal Steering은 활성화 센터링으로 모달리티 편차를 보정하고, 기하학적으로 정의된 신뢰 영역 안에서 steering 강도를 조절한다. 또한 적절한 개입 레이어를 선택하며, 생성되는 첫 번째 토큰에서 작동한다. 추가 학습은 필요하지 않다.
• 안전성과 유용성을 함께 측정. 연구진은 5개 최신 멀티모달 대규모 언어 모델을 대상으로 안전성, 유용성, 영상 jailbreak를 평가했다. MARS는 전반적으로 일관된 안전성 향상을 보였고, 과잉 거부가 나타나기 전까지 모델의 유용성을 유지했다.

의미와 한계

MARS가 제시하는 중요한 관점은 안전 관련 구조가 모달리티를 넘어 언어 백본에 일부 공유될 수 있다는 점이다. 이 가설이 더 다양한 아키텍처와 위험 유형에서 확인된다면, 텍스트·이미지·영상마다 완전히 별도의 정렬 데이터 파이프라인을 구축해야 하는 부담을 낮출 수 있다.

다만 거부 방향이 곧 안전에 대한 완전한 이해를 뜻하는 것은 아니다. steering이 지나치게 강하면 정상적인 요청에 대한 유용한 답변이 줄어들 수 있고, 표현 불일치는 오거부를 일으킬 수 있다. 영상은 시간의 흐름과 사건의 조합까지 고려해야 하므로, 첫 토큰에 대한 개입만으로 모든 위험을 판단하기도 어렵다. 따라서 MARS는 데이터 기반 정렬과 평가를 대체하기보다, 파라미터를 변경하지 않고 적용할 수 있는 보조적 안전 강화 수단으로 보는 편이 적절하다.

앞으로는 다양한 모델 계열과 실제 사용 환경에서의 안정성을 검증하고, 더 세밀한 안전 정책에 대응할 수 있는지 확인해야 한다. 단순히 거부하거나 답하는 이분법을 넘어, 위험을 정확히 판별하고 가능한 경우 건설적인 대안을 제시하는 방향으로 발전할 수 있을지가 핵심 과제다.

출처: Hugging Face Daily Papers