복사 가능한 문맥만으로는 LLM 안전을 보장하기 어렵다

들어가며

대부분의 LLM 안전장치는 답변이 실제로 어떻게 쓰일지 알기 전에 판단을 내린다. 프롬프트, 대화 기록, 사용자가 밝힌 목적이나 역할을 보고 응답 여부를 결정하는 방식이다. 하지만 이중용도 영역에서는 같은 답변이 합법적인 전문가에게도, 공격자에게도 도움이 될 수 있다. Hugging Face Daily Papers에 소개된 논문 “Safeguards Based on Copyable Context Cannot Provide Reliable Safety for LLMs”는 이 문제를 게임이론 관점에서 다룬다.

핵심 내용

• 이중용도 과제는 의도 판별을 어렵게 만든다. 어떤 기술 설명이나 절차는 연구자나 실무자에게 유용하지만, 악의적 사용에도 활용될 수 있다. 출력의 위험성은 답변 자체보다 이후의 사용 방식에 좌우되는 경우가 많다.

• 문맥은 공격자가 모방할 수 있다. 저자들은 모델이 내놓는 능력과, 방어자가 실제 하위 사용 목적에 대해 관찰할 수 있는 증거를 분리한다. 정중한 표현, 그럴듯한 업무 배경, 정상적으로 보이는 대화 기록 같은 정보가 판단 근거라면 공격자도 이를 비슷하게 만들 수 있다.

• 안전 트릴레마가 나타난다. 복사 가능한 증거에만 의존하면서 합법적 사용자에게 유용한 답변을 계속 제공하려 하면, 최악의 경우 공격자가 얻는 도움을 완전히 제거하기 어렵다. 논문은 이를 유용한 능력, 신뢰 가능한 안전, 오픈 액세스가 동시에 공존하기 어렵다는 트릴레마로 정리한다.

• 신뢰 자격 증명이 보완 신호가 될 수 있다. 저자들은 기존 안전장치에 더해 복사하기 어렵고 실제 사용 목적을 예측하는 데 도움이 되는 정보를 도입해야 한다고 본다. 신뢰된 자격 증명은 이런 정보를 제공하는 한 가지 방향으로 제시된다.

의미와 영향

이 논문의 의미는 현실에서 반복되는 안전 실패를 하나의 이론적 틀로 설명한다는 데 있다. 탈옥 프롬프트, 선의의 맥락 가장, 적응형 공격은 단순한 프롬프트 기교가 아니라, 방어자가 보는 정보가 공격자에게도 재현 가능하다는 구조적 한계를 드러낸다.

따라서 고위험 기능을 제공하는 모델 서비스나 오픈 액세스 환경에서는 콘텐츠 필터와 대화 분류만으로 충분하지 않을 수 있다. 접근 제어, 신뢰 기반 이용 프로그램, 사용 감사, 기능의 단계적 공개 같은 다층적 설계가 더 중요해질 가능성이 있다. 다만 자격 증명 기반 접근은 개인정보, 공정성, 거버넌스 문제도 함께 가져온다. 안전과 개방성의 균형을 어떻게 설계할지가 핵심 과제로 남는다.

출처: Hugging Face Daily Papers