HarmProfile: 프런티어 LLM의 유해 출력을 위험 분포로 분석하다

들어가며

LLM 안전성 평가는 대체로 모델이 유해한 요청을 거부했는지, 또는 탈옥 공격으로 유해한 생성에 이르렀는지를 확인하는 방식으로 진행된다. 이 접근은 공격 성공 여부를 측정하는 데는 유용하지만, 방어 장치가 무너졌을 때 모델이 실제로 어떤 내용을 만들어 내는지는 충분히 설명하지 못한다. HarmProfile은 바로 이 실패 출력 자체를 분석 대상으로 삼는다.

핵심 내용

• 안전 실패를 분포로 바라본다. HarmProfile은 유해 출력을 내용, 심각도, 다양성의 관점에서 정리한다. 따라서 단순한 실패 횟수뿐 아니라 모델이 어떤 위험 영역에서 어느 정도의 폭으로 실패하는지를 모델 단위의 위험 프로필로 표현할 수 있다.
• 대규모 모델 간 비교 데이터를 구축했다. 데이터셋에는 23개 프런티어 LLM과 13개 모델 계열에서 수집한 8만 개 이상의 검증된 아티팩트가 포함된다. 샘플은 15개 유해 범주와 57개 하위 범주로 구성되어 모델별 차이를 세밀하게 비교할 수 있다.
• 모델마다 실패 양상이 다르다. 프런티어 LLM은 안전장치가 실패하는 조건에서 유해 콘텐츠를 대규모로 생성할 수 있지만, 모든 모델이 같은 방식으로 실패하지는 않는다. 특정 위험 영역에 집중하는 모델이 있는 반면, 더 넓고 다양한 유형의 출력을 보이는 모델도 있다.
• 능력 향상이 위험의 복잡성을 키울 수 있다. 연구는 모델 능력이 높아질수록 유해성과 유해 출력의 다양성이 함께 증가한다고 보고한다. 일상적인 대화에서는 안전해 보이는 모델도 정렬된 표면 아래에 더 폭넓고 위험한 지식을 보유할 가능성이 있다는 의미다.

의미와 한계

HarmProfile의 가장 큰 의미는 안전성 평가의 관찰 단위를 바꾼 데 있다. 거부율과 탈옥 성공률은 여전히 중요하지만, 그 지표만으로는 실패 출력의 구성이나 모델별 편향을 파악하기 어렵다. 구조화된 실패 데이터는 모델 계열을 비교하고, 정렬 이후 남은 위험을 분석하며, 레드팀 평가와 안전 학습을 더 정교하게 설계하는 데 도움을 줄 수 있다.

다만 이 벤치마크를 모델 안전성에 대한 최종 판정으로 받아들여서는 안 된다. 샘플 수집 방식, 검증 기준, 범주 분류가 결과에 영향을 줄 수 있기 때문이다. 공격 성공률, 거부 품질, 실제 사용 환경을 반영한 시나리오 평가와 함께 활용하는 편이 바람직하다. 중요한 질문은 모델이 단순히 실패하는지가 아니라, 어느 방향으로, 얼마나 심각하게, 얼마나 다양한 방식으로 실패하는지다.

출처: Hugging Face Daily Papers