Kimi K3 공개: 2.8T MoE, 네이티브 비전, 100만 토큰 컨텍스트

도입

Kimi 팀은 Hugging Face Daily Papers를 통해 새로운 개방형 가중치 모델 Kimi K3를 소개했다. 논문 요약에 따르면 Kimi K3는 총 2.8T 파라미터 규모의 Mixture-of-Experts(MoE) 모델이며, 각 토큰에서 1040억 파라미터를 활성화한다. 또한 네이티브 비전 기능과 100만 토큰 컨텍스트 창을 갖췄다.

이는 단순히 더 큰 챗봇을 만들었다는 의미에 그치지 않는다. 긴 문서 이해, 장기 코딩, 에이전트형 작업 수행, 지식 기반 추론, 비전-언어 과제처럼 긴 기억과 안정적인 실행이 필요한 영역을 겨냥한 모델이라는 점이 핵심이다.

핵심 포인트

• 대규모 MoE 구조: Kimi K3는 총 2.8T 파라미터를 보유하지만, 전문가 라우팅으로 실제 계산량을 조절한다. 논문은 Stable LatentMoE가 896개의 라우팅 전문가 중 토큰마다 16개를 효과적으로 활성화한다고 설명한다.
• 100만 토큰 컨텍스트: 모델은 100만 토큰 길이의 컨텍스트를 지원한다. Kimi Delta Attention과 Attention Residuals는 긴 시퀀스와 깊은 모델 층을 지나는 정보 흐름을 개선하기 위한 핵심 기술로 제시됐다.
• 네이티브 비전 지원: Kimi K3는 텍스트 전용 모델이 아니다. 처음부터 비전 기능을 포함해 지식, 추론, 코드, 시각 이해를 아우르는 사용 사례를 목표로 한다.
• 후훈련 강화학습: 일반, 에이전트, 코딩 영역에서 강화학습을 적용하고, 여러 추론 노력 수준을 지원한다고 논문은 설명한다. 목표는 조합적 일반화와 긴 실행 과정의 견고성을 높이는 것이다.
• 시스템 인프라 개선: 2.8T 규모를 지원하기 위해 KDA를 위한 알고리즘-시스템 공동 설계, 균형 잡힌 전문가 병렬 학습, 효율적인 메모리 관리, 100만 토큰 에이전트 RL의 지속적 rollout 및 샌드박스 상태, 배포 최적화가 언급됐다.

의미와 영향

Kimi K3의 의미는 파라미터 수 자체보다 더 넓다. 개방형 가중치 모델이 초장문 컨텍스트, 멀티모달 입력, 에이전트 강화학습, 대규모 MoE 학습과 배포라는 난제를 동시에 다루는 단계로 진입했음을 보여준다. 논문은 Kimi K2 대비 전체 확장 효율이 약 2.5배 개선됐다고 밝힌다.

평가 측면에서 저자들은 Kimi K3가 장기 코딩, 에이전트, 지식, 추론, 비전 과제에서 프런티어 수준의 성능을 달성했다고 주장한다. 동시에 전체 성능은 Claude Fable 5와 GPT-5.6 Sol 같은 가장 강력한 독점 모델에는 아직 미치지 못한다고 인정한다. 그럼에도 자체 평가 스위트에서는 비교된 다른 개방형 및 독점 모델을 일관되게 앞섰다는 설명이 눈에 띈다.

전체 모델 가중치가 공개된다는 점도 중요하다. 연구자와 개발자는 결과를 재현하고, 실패 사례를 분석하며, 장문맥 에이전트와 코딩 시스템, 멀티모달 애플리케이션을 구축할 수 있다. 독립 검증이 뒤따른다면 Kimi K3는 개방형 프런티어 AI 연구의 중요한 기준 모델이 될 수 있다.

출처: Hugging Face Daily Papers