안전장치가 작동했다면 LLM 시스템은 정말 더 안전해졌을까

들어가며

대규모 언어 모델의 안전성 연구에서는 거부율, 공격 성공률, 정책 위반율이 대표적인 평가 지표로 사용됩니다. 이 지표들은 특정 안전장치가 평가에 포함된 요청에 어떻게 대응했는지를 보여주는 데 유용합니다. 그러나 실제 서비스로 배포된 시스템에는 더 넓은 질문이 필요합니다. 공격자가 입력을 바꾸고 대화를 조정하며 다른 진입 경로를 계속 찾는다면, 해당 시스템은 유해한 작업과 관련해 여전히 어느 정도의 도움을 제공할 수 있을까요?

논문 「The Safeguard Worked. Is the LLM System Safer?」는 국소적인 방어 성능과 배포 이후 시스템 전체의 안전성 사이에 존재하는 간극을 다시 살펴봅니다. 핵심 메시지는 분명합니다. 테스트에서 안전장치가 작동했다는 사실과 서비스 전체가 더 안전해졌다는 사실은 동일하지 않습니다.

핵심 내용

• 국소 지표는 배포 안전성을 보장하지 않는다. 거부율은 테스트된 요청에 대한 응답을 설명하지만, 배포 안전성은 서비스 전체에서 공격자가 여전히 얻을 수 있는 유해한 도움을 다룹니다.
• 서로 다른 안전장치를 공통 기준으로 비교해야 한다. 논문은 각 안전장치가 선호하는 점수만 비교하지 않고, 보고된 결과가 실제 배포의 위험에 대해 무엇을 의미하는지 분석합니다.
• 안전성 증거에는 비대칭성이 있다. 유해한 도움을 얻는 공격이 한 번 성공하면 그러한 도움의 잔존을 보여줄 수 있습니다. 반면 높은 거부율이나 낮은 위반율만으로 잔여 위험이 작다고 말할 수는 없습니다.
• 주변 시스템을 함께 봐야 한다. 국소 안전장치가 기능한 뒤 다른 구성요소, 기능, 대체 경로가 무엇을 허용하는지에 대한 증거가 필요합니다.
• 시스템 수준의 증거는 제한적이다. 논문이 코딩한 주장 가운데 이러한 폭넓은 증거를 직접 뒷받침하거나 도출할 수 있는 경우는 소수입니다. 잔여 위험을 제한하는 주장도 특정 범위 안에서만 성립합니다.

의미와 영향

이 연구의 기여는 또 하나의 국소 점수를 제시하는 데 있지 않습니다. 오히려 안전성을 평가하는 질문 자체를 바꾸려는 데 있습니다. 기존 평가가 “테스트한 공격을 막았는가?”에 머물렀다면, 이 논문은 “공격자가 적응했을 때 배포된 서비스 안에서 여전히 무엇을 할 수 있는가?”를 추가로 묻습니다.

이 차이는 실제 운영 환경에서 중요합니다. 공격자는 평가자가 준비한 입력에만 의존하지 않습니다. 특정 요청 형식을 거부하더라도 다른 대화 방식이나 안전장치가 다루지 않는 시스템 기능이 남아 있다면, 유해한 도움의 가능성이 사라졌다고 보기 어렵습니다.

모델 개발자는 거부율 같은 수치를 제시하는 것에 더해 평가 범위, 공격자의 적응 가능성, 안전장치가 작동한 뒤 남는 경로를 설명해야 합니다. 평가자는 성공한 유해 공격을 잔여 위험의 증거로 취급하되, 많은 거부 사례만으로 위험이 거의 없다고 과도하게 해석해서는 안 됩니다.

더 넓게 보면, 안전장치 연구의 목표는 벤치마크 점수를 높이는 데 그쳐서는 안 됩니다. 국소적인 개선이 실제 배포 환경에서 유해한 지원을 줄였다는 사실을, 적용 범위가 분명한 시스템 수준의 증거로 연결해야 합니다. 그렇지 않다면 그 결과는 전체 시스템의 안전성 주장이 아니라 특정 조건에서의 개선으로 제한해 제시하는 편이 타당합니다.

출처: Hugging Face Daily Papers