블랙박스 LLM을 겨냥한 제어 디코딩 공격의 의미

대규모 언어 모델의 안전 정렬은 유해한 요청에 적절히 거부하는지를 중심으로 평가되는 경우가 많다. 그러나 Hugging Face Daily Papers에 소개된 이번 연구는 모델의 내부 확률이나 가중치를 직접 볼 수 없는 상황에서도 생성 궤적을 간접적으로 바꿀 수 있는지 살펴본다. 대상 인터페이스가 반환하는 것은 샘플링된 텍스트뿐이며, 반복 샘플링과 어시스턴트 접두사 이어쓰기를 지원한다는 조건이다.

텍스트만 반환해도 완전히 닫힌 것은 아니다

기존의 제어 디코딩 공격은 다음 토큰의 확률 분포, 로짓, 또는 모델 가중치에 의존한다. 이런 정보가 있으면 특정 목표로 이어질 가능성이 높은 토큰을 직접 선택할 수 있다. 하지만 일반적인 상용 API는 내부 수치를 숨기고 텍스트 결과만 제공한다. 여러 번 출력한 결과를 이용해 확률을 추정하는 방법은 가능하지만, 샘플 수가 제한되면 관측값이 희소하고 잡음이 많다. 생성 단계마다 이 과정을 반복하면 질의 비용도 크게 늘어난다.

연구진의 핵심 관찰은 성공적인 탈옥 궤적에서 큰 분포 변화가 모든 위치에 나타나는 것은 아니라는 점이다. 변화가 일부 위치에 집중된다면, 모든 토큰을 정밀하게 분석하는 대신 응답 접두사의 상태를 보고 개입이 필요한 지점만 선택하는 방식이 가능하다.

제안된 접근의 세 가지 요소

• 샘플 기반 분포 재구성: 반복적으로 얻은 텍스트 샘플을 모으고, 관측되지 않은 행동에는 사전 분포를 적용한다. 목표는 전체 어휘의 확률을 완벽하게 복원하는 것이 아니라 제어에 활용할 수 있는 근사 신호를 얻는 것이다.
• 위험 게이트 잔차 제어: 계속 변하는 응답 접두사를 바탕으로 분포를 다시 추정하거나 수정할 시점을 결정한다. 영향이 작을 것으로 보이는 위치에서는 값비싼 처리를 생략한다.
• 추측 기반 다중 토큰 실행: 먼저 여러 토큰으로 구성된 초안을 만들고 대상 모델에 검증을 요청한다. 개입이 필요하지 않은 초안은 그대로 받아들여 대상 모델 호출 비용을 분산한다.

이 세 요소는 전체 확률 분포를 복원하려는 접근에서, 생성 경로를 바꿀 수 있는 소수의 결정 지점을 찾는 접근으로 초점을 이동시킨다. 블랙박스 서비스에서는 정밀한 전수 추정보다 이런 선택적 제어가 현실적일 수 있다는 의미다.

평가가 주는 의미와 방어 과제

제공된 초록에 따르면 연구는 네 개의 대상 엔드포인트와 세 개의 벤치마크에서 평가되었으며, 여러 비교에서 가장 높은 평균 점수를 기록했다. 다만 엔드포인트와 벤치마크의 구체적 이름, 성공률, 질의 횟수는 자료에 제시되지 않았다. 따라서 모든 모델과 API에서 동일한 효과가 발생한다고 단정해서는 안 된다.

방어 측면에서는 비정상적으로 반복되는 샘플링 패턴, 어시스턴트 접두사를 이용한 이어쓰기 요청, 여러 턴에 걸쳐 누적되는 출력 변화를 함께 관찰할 필요가 있다. 안전성 평가는 단일 프롬프트의 거부 여부에만 머물지 않고, 적응형 블랙박스 질의와 생성 과정 조작 가능성까지 포함해야 한다. 확률을 공개하지 않는 것만으로 모델의 의사결정과 관련된 모든 정보가 차단되는 것은 아니기 때문이다.

이번 연구가 모든 텍스트 API가 쉽게 우회된다는 뜻은 아니다. 다만 반복 가능한 인터페이스 행동이 충분히 노출되면, 숨겨진 확률도 간접적으로 추론될 수 있다는 경고를 제공한다. API의 유연성과 사용성, 속도 제한, 악용 방지 장치를 함께 설계해야 하는 이유다.

출처: Hugging Face Daily Papers