Thinking Machines, 1조 파라미터급 오픈 멀티모달 모델 Inkling 공개

들어가며

Thinking Machines가 Hugging Face를 통해 오픈 멀티모달 모델 Inkling을 공개했다. 가장 눈에 띄는 사양은 총 975B 파라미터, 약 41B 활성 파라미터, 그리고 최대 1M 컨텍스트 윈도우다. 여기에 텍스트뿐 아니라 이미지와 오디오를 네이티브 입력으로 처리한다는 점이 더해진다.

Inkling은 단순히 기존 언어 모델에 시각 또는 음성 모듈을 덧붙인 형태라기보다, 여러 입력 양식을 하나의 decoder-only 생성 모델 안에서 다루려는 시도에 가깝다. 공개 내용은 이 모델이 멀티모달 추론과 특정 도메인 적응을 위한 파인튜닝에 초점을 맞춘다고 설명한다.

핵심 포인트

• 거대한 MoE 구조: Inkling은 Mixture-of-Experts 기반 모델이다. 총 파라미터는 975B지만, 한 번의 추론에서 활성화되는 파라미터는 약 41B다. 256개 전문가를 사용하며, 라우팅되는 전문가와 항상 활성화되는 공유 전문가를 함께 활용한다.
• 텍스트·이미지·오디오 입력: 이미지 입력은 계층적 MLP patchifier를 거쳐 패치 임베딩으로 변환된다. 오디오는 mel 스펙트로그램으로 변환된 뒤 이산화되어 오디오 임베딩 타워를 통해 모델 입력이 된다.
• 1M 컨텍스트와 주의 설계: Inkling은 일반적인 RoPE 대신 상대 주의를 사용한다. 위치 정보를 attention logits 안에서 학습하는 방식이다. 레이어는 슬라이딩 윈도우 주의와 글로벌 주의를 5:1 패턴으로 조합하며, 마지막 레이어에는 글로벌 주의를 적용한다.
• SConv로 지역 패턴 보강: 짧은 1차원 컨볼루션인 SConv가 현재 토큰과 이전 hidden state 일부를 읽는다. 이는 지역적 표현을 보강하고, attention과 MoE가 더 넓은 표현을 담당하도록 돕는 설계다.
• 추론 생태계 지원: Hugging Face는 transformers의 day-0 지원을 제공한다고 밝혔다. 또한 SGLang, vLLM 같은 주요 추론 엔진과 llama.cpp용 ggml 양자화 옵션도 언급된다.

의미와 영향

Inkling은 오픈 모델 경쟁이 텍스트 생성 능력만이 아니라, 긴 컨텍스트와 멀티모달 추론을 동시에 포함하는 방향으로 확장되고 있음을 보여준다. 문서, 이미지, 음성 데이터를 함께 이해해야 하는 업무용 AI나 멀티모달 에이전트 워크플로에서는 이런 통합형 모델이 시스템 구성을 단순화할 수 있다.

다만 실제 사용 장벽은 상당하다. BF16 체크포인트는 약 2TB VRAM을 요구하고, NVFP4 버전도 약 600GB VRAM이 필요하다. 따라서 대부분의 개발자는 전체 모델을 직접 로컬에서 실행하기보다 호스팅 추론, 추론 제공자, 또는 양자화된 배포 방식을 통해 접근하게 될 가능성이 높다.

결국 Inkling은 대중적 소비자 모델이라기보다, 대규모 멀티모달 연구와 고급 애플리케이션 개발을 위한 오픈 기반 모델에 가깝다. 실제 영향력은 향후 평가 결과, 커뮤니티 최적화, 그리고 높은 비용을 정당화할 수 있는 활용 사례가 얼마나 빠르게 등장하느냐에 달려 있다.

출처: Hugging Face Blog