오프라인 LLM은 답하지 말아야 할 때를 알 수 있을까

들어가며

공장, 차량, 원격 게이트웨이 등에 생성형 AI를 배치할 때 연결성은 단순한 지연 시간의 문제가 아닙니다. 네트워크가 끊긴 장치는 언제 답변을 거부할지, 지식을 어떻게 갱신할지, 새 업데이트를 어느 수준까지 신뢰할지 스스로 처리해야 합니다. Hugging Face Daily Papers에 소개된 이번 연구는 네트워크 격리 상태의 Raspberry Pi 5에서 완전 로컬 검색증강생성(RAG)을 실행하며 이 문제를 살폈습니다. Qwen2.5 1.5B, 3B, 7B 모델을 사용했고 SQuAD 2.0 질문 300개를 평가했습니다.

핵심 결과

• 검색 확신도와 답변 가능성은 다르다. 보정된 검색 점수 게이트는 코퍼스 밖 질문을 AUROC 0.97로 탐지했습니다. 그러나 관련 주제에 속하지만 실제 답이 없는 질문에서는 0.68로 낮아졌습니다. 비슷한 문단을 찾았다는 사실만으로 답변 근거가 충분하다고 볼 수 없습니다.
• 간단한 출력 검증이 실용적이었다. 결정론적 검증기는 형식이 잘못된 출력을 명시적인 답변 거부로 바꿨습니다. 보고된 실험에서는 정답 손실이 관찰되지 않았습니다. 반면 시험한 NLI 기반 검증기의 추가 효과는 제한적이었습니다.
• 작은 모델도 효율적인 선택이 될 수 있다. 3B 모델은 정답 정보가 검색 문단에 포함되는 비율에서 7B와 같은 수준을 보였고, 지연 시간과 추정 에너지는 절반 미만이었습니다. 다만 token-F1 0.5를 넘는 빈도는 7B가 더 높았습니다. 정답을 포함하는 능력과 답변을 완성도 있게 표현하는 능력은 별개의 지표입니다.
• 더 많은 컨텍스트가 항상 유리하지 않다. 검색 문단을 3개에서 5개로 늘리자 정확도가 75%에서 52%로 하락했습니다. 추가 정보가 노이즈나 상충하는 근거를 만들고 모델의 주의를 분산시킬 수 있음을 보여줍니다.
• 암호학적 검증은 빠르지만 진실을 판별하지 않는다. 서명된 팩을 검증하는 데는 약 4.5밀리초가 걸렸지만, 장치에서 문단 임베딩을 만드는 데는 약 29분이 필요했습니다. 서명과 해시만 사용하면 시험한 9가지 업데이트 공격 중 6가지를 받아들였습니다. 단조 증가 시퀀스, 만료, 폐기, 모델 호환성 검사를 추가하자 실험 대상 9개 공격을 모두 거부했습니다.

가장 중요한 실패 사례

유효하게 서명된 오염 지식 팩이 모든 검사를 통과하고, 30개 대상 문제에서 정답을 전부 없앤 결과는 특히 중요합니다. 서명은 누가 발행했는지와 전송 중 변조되지 않았는지를 보여줄 뿐, 내용이 정확하거나 안전하다는 사실을 증명하지 않습니다. 따라서 발행자 측의 콘텐츠 검토, 배포 전 평가, 정상 상태로 되돌릴 수 있는 복구 절차가 별도로 필요합니다.

하드웨어 조건도 해석에 포함해야 합니다. 16 GB 메모리의 Pi 5에서는 모델, 인덱스, 서버가 질의 사이에 상주했습니다. 질의 완료 시 측정된 최대 상주 메모리는 1.5B에서 약 6.3 GiB, 3B에서 약 9.4 GiB, 7B에서 약 13.6 GiB였습니다. 첫 토큰까지의 시간은 보고되지 않았으므로, 결과는 안정적으로 상주하는 환경의 비교입니다. 메모리가 더 작은 장치에서 모델을 반복 로드해야 한다면 양상이 달라질 수 있습니다.

의미와 영향

오프라인 생성형 AI의 신뢰 모델은 서명 하나로 끝나서는 안 됩니다. 검색 게이트는 명확한 지식 공백을 찾고, 결정론적 검증기는 출력 형식을 통제하며, 계층형 업데이트 검증은 롤백과 만료, 폐기, 호환성 문제를 줄일 수 있습니다. 그러나 어느 한 장치도 발행자가 사실과 다른 지식에 서명했는지 판단하지는 못합니다.

실무적으로는 보수적인 답변 거부 정책, 제한된 컨텍스트 선택, 모델별 비용 평가, 안전한 신뢰 저장소 관리, 알려진 정상 버전의 보존을 함께 설계해야 합니다. 이번 연구는 하나의 보드와 모델 계열, SQuAD 기반 작업에 한정되고 일부 방어가 카운터를 재설정할 수 없다는 가정에 의존합니다. 그럼에도 오프라인에서 계속 실행되는 능력과 사실을 판별하는 능력은 다르다는 점을 분명히 보여줍니다. Hugging Face Daily Papers