다중 턴 탈옥을 의사결정 과정으로 모델링한 M³의 접근법

들어가며

대규모 언어 모델의 안전성을 평가할 때 단일 턴 테스트만으로는 충분하지 않을 수 있다. 한 번의 요청을 거절하는 능력뿐 아니라, 대화가 이어지는 동안 맥락과 의도가 조금씩 바뀌어도 안전 경계를 유지하는지 확인해야 하기 때문이다. arXiv에 공개된 M³는 이러한 다중 턴 레드팀 평가를 자동화하기 위한 체계적인 접근법을 제시한다.

대화를 의사결정 문제로 바꾸기

M³는 다중 턴 탈옥을 유한 시간 마르코프 의사결정 과정으로 표현한다. 각 프롬프트를 서로 독립적인 시도로 보는 대신, 이전 상호작용에서 현재 상태를 추정하고 다음 행동을 선택한 뒤 대상 모델의 응답을 다시 상태 업데이트에 반영한다.

프레임워크는 세 가지 역할로 구성된다.

• 공격자 LLM: 다음 상호작용 전략을 생성한다.
• 대상 LLM: 평가받는 모델로서 응답을 반환한다.
• 상태 LLM: 길어지는 대화 기록을 간결한 내부 상태로 요약한다.

핵심은 특정 탈옥 문구를 제시하는 데 있지 않다. 대신 대화를 어떻게 이어갈 것인지 자체를 최적화 가능한 의사결정 문제로 다룬다. 상태를 압축하기 때문에 대상 모델의 파라미터, 학습 데이터, 내부 안전 분류기에 접근할 수 없는 블랙박스 환경에서도 활용하기 쉽다는 점이 특징이다.

실험 결과가 의미하는 것

논문은 두 개의 벤치마크와 여섯 개의 대상 모델에서 M³를 평가했다. 기존 다중 턴 레드팀 방법보다 일관되게 높은 성능을 보였으며, ASR@5에서 최대 53%의 개선을 보고했다. 또한 경량 공격자를 사용했을 때도 더 높은 용량의 공격자를 사용하는 기준선과 비교해 ASR@1에서 최대 26%, ASR@5에서 최대 34%의 향상이 나타났다.

연구진은 최종 성공률만이 아니라 턴에 따른 위험 변화도 분석했다. M³는 대화가 진행될수록 위험이 더 가파르게 증가하는 양상을 보였으며, 이는 효과적인 상호작용 경로를 더 이른 시점에 찾을 가능성을 시사한다. 위험 범주 간 성능의 일관성도 개선됐고, Gini 지수에서 최대 4.82의 향상이 보고됐다. 사전에 위험 분류 체계를 정해두지 않아도 된다는 점도 중요한 특성이다.

영향과 한계

M³는 안전성 평가를 상태 추정, 행동 선택, 피드백 반영의 연속 과정으로 정리한다. 이 관점은 단일 턴 평가에서 놓치기 쉬운 누적 위험을 발견하는 데 도움을 줄 수 있다. 모델 개발자는 방어 취약점을 파악할 수 있고, 레드팀 도구 개발자는 반복 가능하고 자동화된 평가를 설계할 수 있다.

다만 제공된 요약만으로는 모든 모델이나 실제 서비스 환경에 대한 일반화 가능성을 판단할 수 없다. 보고된 결과는 공격 성공률, 위험 상승, 범주 간 일관성에 초점을 맞추며, 대상 모델이 광범위하게 무력화됐다는 결론을 의미하지도 않는다. 따라서 M³는 통제된 안전성 평가 도구로 활용하고, 발견된 약점을 거부 응답, 대화 상태 관리, 지속 모니터링 개선으로 연결하는 것이 적절하다.

모델이 단발성 질문응답을 넘어 장기 협업으로 이동할수록, 안전성도 개별 응답이 아니라 전체 대화 궤적을 기준으로 평가해야 한다. M³는 이러한 평가 방향을 보여주는 연구다.

arXiv