영어만으로는 부족하다: 다국어와 문화 맥락을 반영한 LLM 안전 정렬

배경

대규모 언어 모델의 안전 정렬은 오랫동안 영어 데이터와 영어 공격 사례를 중심으로 발전해 왔다. 그러나 영어로 유해한 요청을 거부하는 모델이 다른 언어에서도 같은 수준의 안전성을 보인다고 보기는 어렵다. 특히 저자원 언어에서는 학습 데이터 부족, 표현 방식의 차이, 지역별로 다른 위험 주제가 안전 장벽의 공백을 만들 수 있다.

Swiss AI Initiative 연구팀은 이 문제를 해결하기 위해 템플릿 기반 데이터 증강 파이프라인을 제안하고, MSafeTemp라는 다국어 안전 데이터셋을 공개했다.

템플릿과 문화적 현지화

이 연구의 방식은 영어 프롬프트를 단순히 여러 언어로 번역하는 데 그치지 않는다. 먼저 유해한 프롬프트에서 재사용 가능한 안전 템플릿을 추출한 다음, 이를 번역하고 템플릿의 슬롯에 문화적으로 자연스러운 엔티티를 채운다. 슬롯에는 유해한 내용과 비유해한 내용이 모두 들어갈 수 있어, 거부 응답을 위한 학습 사례와 일반적인 정상 요청을 함께 생성할 수 있다.

연구팀은 지역적 배경을 반영하기 위해 검증된 문화 카드도 활용한다. 지역마다 관련성이 높은 인물, 장소, 기관, 사회적 상황과 위험 주제가 다르기 때문이다. 영어권 사례를 번역해 늘리는 것만으로는 이러한 차이를 충분히 반영하기 어렵다. 템플릿은 데이터 생산의 규모를 높이고, 문화적 엔티티는 사례의 현지 관련성을 높이는 역할을 한다.

MSafeTemp는 60개 언어를 다루며 약 200만 개의 다국어 안전 정렬 프롬프트를 제공한다. 데이터셋은 모델 학습과 안전 평가 모두에 사용할 수 있고, 생성 파이프라인과 데이터도 공개되어 추가 연구를 지원한다.

영어 평가가 놓치는 취약점

논문의 핵심 관찰은 영어만을 사용한 안전 평가가 다국어 환경에서의 실제 안전성을 과대평가할 수 있다는 것이다. 일부 모델은 영어로 제시된 공격에는 대응하지만, 같은 공격이 다른 언어로 번역되면 성공할 수 있다. 여기에 지역의 문화와 상황을 반영한 표현을 추가하면, 직역만으로는 발견되지 않는 실패 사례가 더 드러난다.

이는 다국어 안전성이 단순한 번역 문제와 다르다는 뜻이다. 언어별 관용 표현, 배경지식, 사회적 의미, 위험 주제의 분포가 모델의 요청 해석과 거부 여부에 영향을 준다. 번역문이 단어의 의미는 보존하더라도, 현지 사용자가 실제로 요청을 표현하는 방식이나 그 안의 맥락까지 보존하지는 못할 수 있다.

산업적 의미

모델 개발자에게 MSafeTemp는 안전 데이터의 규모와 다양성을 높일 수 있는 실용적인 방법을 제시한다. 모든 사례를 수작업으로 작성하지 않고도 템플릿을 반복 활용할 수 있으며, 언어와 문화에 맞는 엔티티를 넣어 더 다양한 상황을 구성할 수 있다. 논문은 이러한 증강 방식이 정렬 데이터의 다양성과 품질을 높이고, 영어 이외의 안전 성능 개선으로 이어진다고 보고한다.

평가 측면에서는 안전 보고서가 영어 점수만 제시해서는 부족하다는 시사점이 크다. 여러 언어, 저자원 환경, 문화적으로 현지화된 시나리오를 함께 시험해야 모델이 실제 배포 환경에서 어떻게 행동하는지 더 정확히 이해할 수 있다.

다만 템플릿 생성이 자동으로 품질을 보장하는 것은 아니다. 번역의 정확성, 문화적 진정성, 유해성 라벨, 반복되는 템플릿의 편향은 계속 검증해야 한다. MSafeTemp의 가장 큰 의미는 다국어 안전을 부가적인 테스트가 아니라 정렬 연구의 핵심 요소로 다룰 수 있는 공개 기반을 제공했다는 데 있다.

출처: Hugging Face Daily Papers