llama-modchip, 64GB 메모리에서 284B MoE 추론을 시도하다

들어가며

대규모 모델 추론은 GPU 메모리와 메모리 대역폭의 영향을 크게 받습니다. 파라미터가 수백억에서 수천억 개로 늘어나면 일반 데스크톱에서 모델을 실행하기가 어려워집니다. llama-modchip은 GPU 대신 시스템 메모리와 CPU를 중심에 두고, 희소 Mixture-of-Experts(MoE) 모델을 위해 양자화, 캐시 관리, 실행 도구를 함께 최적화하는 프로젝트입니다. 저장소 설명에 따르면 284.33B 파라미터의 DeepSeek-V4-Flash를 GPU 없이 64GB 시스템에서 실행할 수 있습니다.

이 글은 프로젝트가 제공한 문서와 수치를 바탕으로 정리했습니다. 제공된 자료에는 제3자의 독립적인 재현 결과가 없으므로, 속도와 메모리, 품질 수치는 확정된 업계 벤치마크가 아니라 프로젝트 측 보고로 보는 것이 적절합니다.

핵심 내용

• 극단적인 모델 압축. DeepSeek-V4-Flash용 Fractal-64 빌드는 약 56.56 GiB, 유효 1.71 bpw로 제시됩니다. 프로젝트는 전체 파라미터를 284.33B, 활성 파라미터를 13.17B로 설명하며 64GB Linux 시스템에서 실행할 수 있다고 주장합니다.
• CPU 중심 커널. ggml/llama.cpp 관련 커널을 수정해 AVX-512와 AVX2, 일부 ARM 플랫폼을 대상으로 레지스터와 캐시 계층을 활용한 타일링을 적용합니다. 사용 빈도가 낮은 전문가 가중치가 KV 캐시를 밀어내는 현상도 줄이려 합니다.
• MoE라고 계산이 사라지는 것은 아니다. 기본 설정은 각 레이어에서 라우팅 전문가 6개와 공유 전문가 1개를 평가합니다. Top-K를 낮추면 처리량을 높일 수 있지만 모델 품질과의 절충이 필요합니다.
• 30B급 모델도 대상이다. Nemotron-3.5-30B-A3B에 대해서는 14.35 GiB, 3.75 bpw 빌드와 16코어 Zen 5에서 25.0~60.4 tok/s라는 수치가 제시됩니다. CPU와 GPU를 함께 사용하는 구성, 다채널 워크스테이션 구성도 지원 대상으로 소개됩니다.
• 일반적인 모델 실행 생태계와는 다르다. Fractal-64는 GGML 타입 40이라는 자체 텐서 형식과 전용 커널을 사용합니다. 따라서 수정되지 않은 llama.cpp, Ollama, LM Studio에서는 읽을 수 없습니다. 프로젝트는 설치 스크립트, 사전 컴파일 바이너리, 웹 UI, 벤치마크, Claude Code 연동 기능을 제공합니다.

의미와 한계

보고된 결과가 반복 재현된다면, 대형 MoE 모델의 실행 가능성이 GPU VRAM에만 좌우되지 않는다는 점을 보여줄 수 있습니다. 전문가 희소성, 초저비트 가중치, CPU 메모리 대역폭을 결합하면 속도는 낮더라도 고성능 GPU가 없는 사용자에게 새로운 선택지를 제공할 수 있습니다. KV 스냅샷과 컨텍스트 복원 기능은 단순한 일회성 대화뿐 아니라 도구 호출이 반복되는 에이전트 작업도 고려한 설계로 보입니다.

다만 1.71 bpw 수준의 압축은 정확도, 안정성, 작업별 성능 저하를 반드시 확인해야 합니다. 자료는 품질 및 도구 호출 평가를 언급하지만, 완전한 비교 기준, 프롬프트, 하드웨어 측정 조건, 제3자 결과는 제공하지 않습니다. 실제 도입 전에는 피크 메모리 사용량, 긴 컨텍스트 성능, 처리량의 정의, 코딩과 도구 사용 작업에서의 품질을 별도로 측정해야 합니다. 현재로서는 llama-modchip을 GPU 추론을 대체하는 범용 해법이라기보다, 공격적인 CPU 추론 엔지니어링 실험으로 보는 편이 타당합니다.

출처: Hacker News