정형화된 거부문 없이 안전성을 학습하면 오거부를 줄일 수 있을까

들어가며

대규모 언어 모델의 안전성은 위험한 요청을 거부하는 능력만으로 판단할 수 없습니다. 위험해 보이는 단어가 들어 있어도 실제 의도가 무해하다면, 모델은 사용자를 불필요하게 막지 않고 응답해야 합니다. 예를 들어 사람을 쏘는 방법을 묻는 요청과 좋은 사진을 찍을 장소를 묻는 요청은 특정 단어를 공유할 수 있지만, 의미와 적절한 대응은 완전히 다릅니다. 단어에만 반응하면 정상적인 사용까지 차단하는 ‘오거부’가 발생합니다.

「Refuse without Refusal」은 이 문제를 안전 튜닝 데이터의 구성이라는 관점에서 살펴봅니다. 연구진은 안전 응답을 하나의 덩어리로 보지 않고, “죄송하지만 도와드릴 수 없습니다”와 같은 정형화된 거부 문구와 요청을 거부해야 하는 이유를 설명하는 근거로 나누었습니다.

핵심 내용

• 거부 문구가 피상적 판단을 강화할 수 있습니다. 동일한 거부 형식이 반복되면 모델은 위험 관련 단어를 발견했을 때 곧바로 거부하는 경향을 학습할 수 있습니다. 이 경우 전체 문맥과 사용자의 실제 의도보다 눈에 띄는 단어가 더 강한 신호가 됩니다.
• 이유만 학습하면 오거부가 감소합니다. 연구 결과에 따르면 정형화된 거부 문구를 제외하고 거부 이유만 사용하면, 위험해 보이지만 무해한 요청에 대한 오거부가 줄어듭니다. 동시에 안전성은 기존 방식과 비슷한 수준으로 유지됐습니다.
• 다른 설정에서도 이점이 나타났습니다. 이유 중심 학습의 효과는 연구에서 다룬 문맥 내 학습 설정에서도 관찰됐습니다. 또한 평가된 추론 시 완화 방법과도 양립할 수 있었습니다.
• 안전 데이터의 세분화가 필요합니다. 유해한 의도 식별, 위험 근거 설명, 최종 응답 선택은 서로 다른 학습 목표로 설계할 수 있습니다. 단순히 거부 문구를 반복하는 것만으로는 충분하지 않을 수 있습니다.

의미와 한계

이 연구가 제시하는 관점은 안전 정렬을 “거부하는 표현을 모방하게 하는 일”에서 “왜 거부해야 하는지 이해하게 하는 일”로 확장합니다. 모델 개발자는 정형화된 문구의 영향은 줄이고, 의도와 문맥을 반영하는 감독 데이터를 설계할 수 있습니다. 평가자 역시 유해 요청을 잘 거부하는지와 위험해 보이는 정상 요청에 도움을 주는지를 분리해 측정할 필요가 있습니다.

다만 제공된 자료에는 구체적인 모델 목록, 데이터셋 구성, 실험 규모와 수치 결과가 포함되어 있지 않습니다. 따라서 모든 모델과 사용 환경에서 동일한 효과가 보장된다고 단정해서는 안 됩니다. 현재 단계에서의 핵심 시사점은 안전 데이터의 문장 구조 자체가 모델이 위험을 판단할 때 사용하는 지름길에 영향을 줄 수 있다는 것입니다.

출처: Hugging Face Daily Papers