아티클 목록으로
프레임워크·도구

순수 JAX 190줄로 구현한 DeepSeek-V3 핵심 구조

약 4분 소요

들어가며

대규모 언어 모델의 논문을 읽을 때 가장 어려운 점 중 하나는 연구 아이디어와 대규모 시스템 구현이 한데 얽혀 있다는 것이다. deepseek-v3-jax 프로젝트는 이 문제를 단순한 형태로 풀었다. DeepSeek-V3 기술 보고서에 등장하는 핵심 구조를 공백과 주석을 제외한 약 190줄의 순수 JAX 코드로 표현한 것이다.

이 프로젝트는 Flax, Equinox, PyTorch를 사용하지 않는다. 모델 파라미터는 배열 딕셔너리로 관리되며, 모델 파일을 위에서 아래로 읽을 수 있다. 데이터 준비, 학습, 평가, 샘플링, 시각화, 테스트 스크립트도 함께 제공한다. 따라서 목표는 경쟁력 있는 언어 모델을 출시하는 것이 아니라, 논문의 설계를 로컬 환경에서 실행하고 관찰할 수 있는 읽기 쉬운 프로토타입을 만드는 데 있다.

핵심 내용

  • 다중 헤드 잠재 어텐션(MLA): 모든 키와 값을 저장하는 대신 토큰마다 더 작은 잠재 표현을 캐시한다. 공개된 설정에서는 토큰당 캐시 크기를 480개 값에서 144개로 줄였다. 회전 위치 임베딩에 필요한 키 요소는 압축된 잠재 표현과 분리한다.
  • DeepSeekMoE: 항상 실행되는 공유 전문가 1개와, 라우팅 대상 전문가 16개 중 4개를 사용한다. 코드의 가독성을 위해 모든 전문가가 계산한 뒤 선택되지 않은 출력을 0으로 만든다. 따라서 라우팅 수학은 보여주지만, 실제 서비스용 희소 디스패치의 효율을 제공하는 구현은 아니다.
  • 부하 균형: 전문가별 바이어스가 덜 사용된 전문가가 선택되도록 유도하며, 전문가 가중치 자체는 바꾸지 않는다. 논문에 설명된 시퀀스 단위 균형 손실도 포함한다.
  • 다중 토큰 예측: 추가 모듈이 다음 토큰 이후의 토큰을 예측하고, 해당 손실에 0.3의 가중치를 적용한다.
  • 로컬 학습 결과: 기본 모델은 3,620만 개 파라미터를 갖고 토큰당 약 1,360만 개를 활성화한다. 데이터는 퍼블릭 도메인 탐정 소설 207권에서 만든 약 2,170만 개의 학습 토큰이다. 24GB 메모리의 MacBook Air M5에서 1만2,000스텝 학습에 약 2.6시간이 걸렸고, 중앙값 속도는 초당 약 1만700토큰이었다.

결과와 한계

검증 손실은 250스텝에서 5.02였고 보고된 학습 결과에서 3.51까지 내려갔다. 2,000스텝 시점에 라우팅 바이어스를 켜면 전문가별 사용률이 5.76.9%로, 이상적인 6.25%에 가까워졌다. 바이어스를 끄면 사용률 범위가 0.0918.6%로 크게 벌어졌다. 하지만 같은 시점의 검증 손실은 바이어스 사용 시 3.921, 미사용 시 3.923으로 거의 같았다. 이 실험 규모에서는 손실 개선보다 전문가 사용 분포를 고르게 만드는 효과가 더 분명했다.

프로젝트는 단순화한 부분도 명확히 밝힌다. MoE는 실제 희소 계산이 아니며, MLA의 가중치 흡수도 구현하지 않았다. 추론 시에는 잠재 표현을 명시적으로 복원한다. FP8 학습, DualPipe, 노드 제한 라우팅, YaRN도 포함되지 않는다. 따라서 이를 완전한 실서비스용 DeepSeek-V3 재현으로 이해해서는 안 된다.

의미와 영향

이 프로젝트의 가장 큰 의미는 복잡한 구조를 직접 확인할 수 있게 만든 데 있다. 어텐션 캐시, 전문가 라우팅, 균형화, 캐시 기반 생성이 어떻게 연결되는지 짧은 코드로 살펴볼 수 있고, 공개된 비교 실험도 재현할 수 있다.

동시에 연구 구조의 간결한 프로토타입과 산업 규모의 시스템 구현은 다르다는 점을 보여준다. 실제 대규모 학습과 추론에는 희소 디스패치, 병렬 학습, 저정밀도 연산, 충분한 인프라가 추가로 필요하다. JAX나 MoE를 배우는 개발자에게 이 프로젝트는 새로운 기반 모델 출시라기보다, 측정 결과와 테스트를 포함한 실행 가능한 기술 해설서에 가깝다. 제공되는 체크포인트는 Python pickle 형식이므로 신뢰할 수 있는 출처에서 받은 파일만 로드해야 한다.

출처: Hacker News

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
DeepSeek, 검색·음성·OCR 등 앱 기능 API 공개
프레임워크·도구
cctest.ai
프레임워크·도구

DeepSeek, 검색·음성·OCR 등 앱 기능 API 공개

DeepSeek가 공식 앱에서 제공하던 웹 검색, 페이지 가져오기, OCR, 음성 인식, 음성 합성 기능을 API로 공개했습니다. 개발자는 필요한 기능만 선택해 독립적으로 호출하고, 여러 기능을 조합해 자체 AI 서비스를 만들 수 있습니다.

더 보기
CCTest · Blog
구글 LiteRT Tensor API, 엣지 AI 최적화를 계산 그래프로 확장
프레임워크·도구
cctest.ai
프레임워크·도구

구글 LiteRT Tensor API, 엣지 AI 최적화를 계산 그래프로 확장

구글이 엣지 디바이스에서 머신러닝 모델을 직접 구축·수정·최적화할 수 있는 경량 C++ API인 LiteRT Tensor를 공개했다. 계산 그래프 수준의 제어권을 유지하면서 CPU, GPU, NPU 간 이식성을 높이는 것이 목표다.

더 보기