서명된 지식 팩도 조작될 수 있다: 오프라인 RAG의 벡터 무결성

배경

오프라인 검색 증강 생성(RAG)은 엣지 기기, 폐쇄망, 지속적인 클라우드 연결이 어려운 환경에 적합합니다. 시스템을 업데이트할 때 운영자는 문서와 미리 계산한 임베딩 벡터를 지식 팩으로 묶고 디지털 서명을 붙입니다. 하지만 서명이 증명하는 것은 ‘누가 배포했는가’이지, ‘각 벡터가 연결된 텍스트를 실제로 인코딩하는가’가 아닙니다. 연구진은 이 문제를 텍스트-벡터 무결성 격차라고 부릅니다. 공격자가 벡터만 바꿀 수 있다면 원문을 직접 수정하지 않고도 검색 순위를 유도할 수 있습니다.

핵심 결과

• 허용오차가 공격 경로가 된다. 검증자가 임베딩을 다시 계산한 뒤 코사인 유사도가 일정 임계값을 넘으면 승인하는 경우, 공격자는 허용 범위 안에서 벡터를 이동시킬 수 있습니다. 정답 후보와 다음 후보의 검색 마진이 작다면 이런 작은 변화만으로 순위가 뒤집힐 수 있습니다.
• 완전한 재현은 현실적으로 어렵다. 부동소수점 계산과 동적 INT8 추론 결과는 배치 크기나 하드웨어 아키텍처에 따라 달라질 수 있습니다. 따라서 비트 단위의 동일성을 요구하기 어렵지만, 허용 범위를 측정 없이 넓히면 보안성이 약해집니다.
• 실험에서 위험이 확인됐다. 다섯 개 코퍼스와 두 개 임베딩 모델을 사용한 평가에서 부동소수점 노이즈 수준의 허용오차만으로도 최대 5.5%의 질의가 노출됐습니다. 완전히 중복된 문서를 제외하면 코퍼스별 최대치는 1.2%였습니다. CPU INT8-FP32 차이로 보정한 임계값에서는 노출률이 98~100%에 달했습니다. Raspberry Pi 5에서 로컬 언어 모델을 사용한 종단 간 실험에서는 공격 후 정답률이 0.75에서 0.39로 낮아졌습니다.
• 압축 인덱스도 자동으로 안전해지지 않는다. 57,638개 문서로 구성된 FAISS 제품 양자화 인덱스에서 변조 벡터가 무결성 감사를 모두 통과했는데도 공격자의 문서가 대상의 25%에서 1위에 올랐습니다.

검증 경계를 다시 설계하기

논문은 복원된 부동소수점 벡터만 확인하는 대신 양자화 코드 자체를 검증하는 방식을 제안합니다. 모호한 경우의 판단을 검증자에게 맡기고, 보정된 가드 밴드와 정규화를 함께 사용하는 설계입니다. 세 플랫폼의 샘플에서는 정직한 벡터를 모두 승인하면서도 발행자가 허용오차를 이용해 검색 방향을 바꿀 여지를 없앴습니다. 거부 처리, 컨텍스트 가지치기, 의미 기반 필터링에 대해서는 사전 등록된 부정적 결과도 제시돼, 검색 이후의 보완책만으로는 충분하지 않음을 보여줍니다.

의미와 영향

발행자 인증, 벡터 일관성, 검색 동작의 무결성은 서로 다른 보안 속성입니다. 따라서 오프라인 RAG 공급망은 서명과 파일 해시에만 의존하지 말고, 어떤 표현을 검증할지, 플랫폼 간 수치 차이를 어떻게 제한할지, 양자화의 모호성을 누가 결정할지를 명확히 해야 합니다. 검증자가 통제하는 표준화된 표현을 사용하면 ‘서명은 유효하지만 검색 결과는 조작 가능한’ 상황을 줄일 수 있습니다.

출처: Hugging Face Daily Papers