Metis-1.6: 더 큰 모델 대신 더 효율적인 학습을 선택하다

들어가며

대규모 언어 모델의 성능을 높이는 가장 익숙한 방법은 파라미터와 데이터, 연산량을 늘리는 것입니다. Metis-1.6은 다른 질문을 던집니다. 더 작은 활성 파라미터와 반복 계산, 효율적인 구조를 활용하면 훨씬 큰 모델과의 격차를 어느 정도 줄일 수 있을까요? 이 프로젝트는 한 명의 연구자가 처음부터 학습했으며, 최첨단 모델과 경쟁하기보다 효율의 한계와 실패 원인을 탐색하는 데 초점을 맞췄습니다.

핵심 내용

• 두 가지 모델 구성: Praxis는 29.4억 파라미터이며 4-bit 양자화 시 약 2 GB에 들어갑니다. Logos는 102.3억 파라미터입니다. 한 번의 패스에서 활성화되는 파라미터는 각각 약 4.6억과 11.8억입니다.
• 토큰마다 두 번 계산: 구조는 Mamba-2가 중심이고 어텐션은 3개 레이어에만 들어갑니다. Mixture-of-Experts도 사용하며, 동일한 20개 레이어를 공유 가중치로 두 번 통과시킵니다. 위치 인코딩은 사용하지 않습니다.
• 학습 데이터의 구성: 두 모델은 각각 총 1.02조 토큰으로 학습됐습니다. 사전학습 8047.6억, 컨텍스트 확장 180억, 지도 미세조정 2000억 토큰으로 나뉩니다. 컨텍스트 길이는 131,072토큰까지 확장됐습니다.
• 수학은 강점, 일반 능력은 불균형: Logos는 30개 오픈 모델의 수학 비교에서 2위를 차지했고, AIME 2025에서 67.50%, HMMT 2026년 2월에서 63.64%를 기록했습니다. 반면 코드, 지시 따르기, 사실 회상, 장문맥에서는 약했습니다. 40개 후학습 벤치마크 평균은 52.93점으로, 17개 비교 모델 중 7위였습니다.
• 효율성에서 의미 있는 결과: Logos는 Qwen3-4B와 약 1점 이내의 평균 성능을 보였지만, 비교 모델의 공개 학습 데이터 중앙값의 약 12분의 1로 학습됐습니다. 또한 Logos보다 높은 점수를 받은 모든 모델보다 토큰당 활성 파라미터가 적었다고 보고됩니다.

실패 실험이 말해주는 것

이 보고서의 가장 중요한 부분은 성공한 점수만이 아닙니다. 저자가 설정한 옵티마이저가 실제로는 실행되지 않았고, 사전학습 동안 어텐션은 계속 AdamW로 학습됐습니다. 17.7억 파라미터 규모의 해시 n-gram 메모리는 스스로 게이트를 닫는 법을 학습해 기능을 사실상 중단했으며, 결국 제거됐습니다. 다섯 가지 미세조정 선택은 능력을 떨어뜨렸고, Logos에 적용한 강화학습은 능력의 폭을 줄였습니다. 이에 따라 1.6 버전은 지도 미세조정 단계에서 멈췄습니다.

이 사례는 모델 성능이 구조만으로 결정되지 않는다는 사실을 보여줍니다. 최적화 설정의 실수, 보조 모듈 간 상호작용, 후학습 방식이 같은 아키텍처의 결과를 크게 바꿀 수 있습니다. 실패 조건까지 공개하면 재현 가능한 설계 원칙과 우연히 얻은 결과를 구분하기도 쉬워집니다.

의미와 한계

Metis-1.6이 최첨단 모델을 대체한다는 뜻은 아닙니다. 코드와 장문맥, 일반적인 지시 수행에서의 약점은 분명합니다. 수학 점수만으로 종합적인 추론 능력을 판단할 수도 없습니다. 그럼에도 공유 가중치 반복 계산, 희소 활성화, Mamba-2와 어텐션의 혼합은 낮은 비용으로 모델을 구축하려는 방향에 실질적인 단서를 제공합니다.

모델은 Apache 2.0으로 공개됐으며 MLX, FP8, NVFP4, GGUF 빌드가 제공됩니다. Dromos 추론 엔진도 함께 공개됩니다. 연구자에게 중요한 교훈은 최종 점수만 비교하지 말고 학습 데이터와 토큰당 실제 연산량을 함께 측정하라는 것입니다. 오픈소스 생태계에서는 이러한 솔직한 공학적 회고가 단일 벤치마크 점수보다 오래 남는 자료가 될 수 있습니다.

출처: Hugging Face Daily Papers