로컬 LLM이 실제보다 더 멍청하게 느껴지는 이유

들어가며

다른 사람의 데모에서는 뛰어나 보였던 모델이 자신의 PC에서는 실망스럽게 느껴질 때가 있습니다. 사용자는 흔히 양자화 모델, GPU 성능, 과장된 벤치마크를 원인으로 생각하지만, 실제 결과에는 GPU 세대, CUDA 커널, 추론 프레임워크, KV 캐시 정밀도, 샘플링 설정, 채팅 템플릿 등 많은 요소가 관여합니다.

Level1Techs의 논의가 던지는 핵심 메시지는 로컬 모델이 본질적으로 더 약한 것은 아닐 수 있다는 점입니다. 모델 제작자가 사용한 기준 구현과 다른 수치 계산 경로를 거치기 때문에 결과가 달라질 수 있다는 뜻입니다.

핵심 포인트

• 같은 가중치가 같은 출력을 보장하지는 않는다. 모델은 매 단계마다 다음 토큰 후보의 logits를 계산하고, 이를 확률 분포로 바꾼 뒤 샘플러에 전달합니다. 작은 수치 차이로 최고 점수 토큰이 바뀌면 이후 문장도 완전히 다른 방향으로 전개될 수 있습니다.
• 추론은 긴 소프트웨어 파이프라인이다. vLLM 같은 런타임은 여러 라이브러리와 커널을 거쳐 작업을 처리합니다. GPU 세대, 텐서 형태, 모델 구조, 양자화 설정에 따라 실제 실행 경로가 달라집니다.
• 어텐션 백엔드도 결과에 영향을 준다. 실험은 다른 조건을 고정한 채 FlashAttention 2, FlashInfer, Triton Attention을 비교했습니다. BF16 가중치와 KV 캐시를 사용했고, 도구 호출과 실제 작업 결과물이 포함된 약 10만 토큰 규모의 워크플로 컨텍스트를 대상으로 했습니다.
• 단일 지표를 믿어서는 안 된다. KL 발산은 두 확률 분포의 차이를 나타낼 뿐, 모델의 지능을 직접 측정하지 않습니다. 기준 체크포인트, 런타임, 컨텍스트 길이, 비교 위치, 발산 방향, 집계 방식이 공개되지 않은 수치는 해석하기 어렵습니다.
• 실제 사용 환경에 맞춰 평가해야 한다. 온도를 0으로 두고 몇 개의 프롬프트만 실행하는 방식은 장문맥 에이전트나 도구 사용 능력을 보여주지 못합니다. 도메인 지식, 긴 입력, 구조화된 출력, 실제 도구 체인을 평가에 포함해야 합니다.

의미와 영향

이 실험의 목적은 특정 백엔드가 항상 우수하다고 결론내리는 데 있지 않습니다. 핵심은 추론 구현 자체가 모델의 실제 동작을 구성한다는 점입니다. 실험에서는 토큰 기록을 강제로 동일하게 유지해 초기 선택 차이가 후속 결과를 증폭하지 않도록 했습니다. 따라서 수치상의 차이를 통제해 관찰할 수 있지만, 자유 생성에서 얼마나 크게 갈라지는지나 실제 도구 호출 성공률까지 직접 보여주는 것은 아닙니다.

사용자는 먼저 모델 카드의 채팅 템플릿과 샘플링 설정을 확인해야 합니다. 이후 양자화 방식, KV 캐시, 컨텍스트 길이, 백엔드를 고정하고 자신의 실제 업무 프롬프트로 비교하는 것이 좋습니다. 운영자는 처리 속도와 메모리 사용량뿐 아니라 기준 구현과의 수치적 일관성도 함께 점검해야 합니다.

결국 “이 GGUF가 좋은가”만 묻기보다, 자신의 하드웨어·소프트웨어·업무 부하 조합이 기준 환경과 얼마나 다른지를 확인하는 편이 더 정확합니다.

Hacker News