Sable, 대규모 언어 모델 추론을 비트 단위로 검증하다

개요

호스팅된 대규모 언어 모델을 사용할 때 이용자는 서비스 제공자가 약속한 모델을 실행했고, 그 모델의 계산으로 응답이 생성됐다고 믿어야 합니다. Sable(Small-Field Argument for Bit-Exact LLM Execution)은 이 신뢰를 검증 가능한 주장으로 바꾸려는 시스템입니다. 커밋된 가중치와 프롬프트, 응답이 주어지면 검증자는 추론을 수행한 GPU를 다시 실행하지 않고도 모든 토큰과 종료 위치가 모델의 계산 결과인지 확인할 수 있습니다.

핵심 설계

Sable은 기존 BF16 추론 위에 단순히 증명 기능을 추가하지 않습니다. 대신 부동소수점 단계가 없는 고정 정수 함수 F_O를 정의합니다. 반올림, 정규화, Softmax, 샘플링 결정은 모두 입력에 의해 정해집니다. 따라서 실행 경로가 이산적이고 재현 가능해지며, 하드웨어와 소프트웨어에 따른 부동소수점 연산 차이도 줄일 수 있습니다.

제약 시스템은 31비트 KoalaBear 소수체에서 동작합니다. 중간 값이 모듈러스를 넘어 되감기는 일이 없도록 관계를 설계했다는 점이 특징입니다. zerocheck와 LogUp-GKR 조회 검사는 도메인마다 하나의 sumcheck로 묶습니다. 모델 가중치와 중간 witness 텐서는 Reed-Solomon 코드, BLAKE3 Merkle 트리, 혼합 길이 BaseFold opening을 결합한 다중선형 커밋먼트로 함께 커밋됩니다.

증명기는 모든 중간 텐서를 한꺼번에 GPU 메모리에 저장하지 않고 모델을 레이어 단위로 스트리밍 처리합니다. 보고된 측정에서 NVIDIA RTX PRO 6000 Blackwell은 Qwen2.5-32B의 4096 토큰에 92.5초, 16384 토큰에 398초가 필요했습니다. 4096 토큰 기준으로 Qwen3-32B는 121.8초, 전문가 혼합 모델인 Qwen3-30B-A3B는 84.7초였습니다. 컴파일된 검증기는 CPU 코어 하나에서 약 19~56초 만에 증명을 검사합니다.

성능 수치의 의미

가장 큰 현실적 제약은 비용입니다. 증명 생성 시간은 일반 서빙 시간의 약 4150배이며, 공개 GPU 가격을 적용한 4096 토큰 요청의 추정 비용은 약 6.4센트입니다. zkLLM과 비교하면 파라미터 및 토큰당 시간이 4064배 적다고 보고됐지만, 일반 온라인 추론과 같은 비용 수준에 도달했다는 뜻은 아닙니다.

정확도도 구분해서 봐야 합니다. F_O는 커밋된 정수 양자화 모델의 함수이지, 임의의 BF16 실행을 비트 단위로 복제하는 함수가 아닙니다. WikiText-2에서 탐욕적 토큰은 BF16 모델과 86.3%의 위치에서 일치했습니다. Qwen3에서는 MMLU 성능 차이가 1.6포인트 이내, GSM8K 차이가 1.7포인트 이내였습니다. 따라서 Sable은 계산을 효율적으로 증명하는 문제와, 증명 가능한 정수 실행이 목표 모델의 동작을 유지하는 문제를 동시에 다룹니다.

의미와 한계

Sable은 대규모 모델 추론을 감사 가능하게 만드는 구체적인 경로를 제시합니다. 모델 버전을 확인하거나 외부에 위탁한 추론을 검증하고, 서비스 운영자가 계산을 임의로 바꾸기 어렵게 만드는 데 활용될 수 있습니다. 그러나 보장 대상은 명시적으로 커밋된 정수 모델과 그 실행 함수입니다. 원래의 부동소수점 모델이나 모든 배포 환경에 자동으로 적용되는 것은 아닙니다. 긴 컨텍스트에서는 증명 부담도 커집니다. 더 빠른 증명기와 하드웨어 가속, 효율적인 양자화 및 프로토콜이 상용화를 좌우할 전망입니다.

출처: Hugging Face Daily Papers