Qwen3.8-Next 아키텍처 해설: 효율성과 학습 안정성의 동시 설계

들어가며

대규모 언어 모델의 경쟁은 이제 파라미터 수만으로 결정되지 않습니다. Qwen3.8-Flash-Next 설계 논문은 계산량을 줄이면서 능력을 유지하고, 동시에 학습을 안정적으로 만드는 방법을 아키텍처 실험과 비용 분석을 통해 살펴봅니다.

핵심 설계

• 희소 활성화와 외부 용량. 모델 전체는 1250억 파라미터지만 토큰마다 활성화되는 규모는 약 60억입니다. 여기에 510억 파라미터의 n-gram 임베딩 테이블을 가속기 밖에 두고 호스트 메모리에서 미리 가져옵니다. 모든 용량을 주 네트워크와 가속기 메모리에 계속 유지하지 않으면서 추가 표현력을 확보하려는 방식입니다.
• 계층별 token mixing. 사전학습 단계에서는 Gated DeltaNet(GDN)과 전역 어텐션을 섞고, 네 개 층마다 한 개의 완전 어텐션 층을 둡니다. 지속 사전학습 단계에서는 이 완전 어텐션 층을 Qwen Sparse Attention(QSA)으로 바꿉니다. QSA는 압축된 경량 인덱서로 문맥을 마이크로 블록 단위에서 평가해 넓은 문맥 접근 비용을 낮추는 방향입니다.
• 네 갈래 게이트 잔차. 잔차 스트림을 네 개의 분기로 확장한 뒤 원소 단위 게이트로 읽습니다. Gated Residual(GR)은 단순한 파라미터 증량 대신 정보 흐름을 조절하면서 표현 경로를 늘리는 설계입니다.
• 손실 외의 평가. 각 후보 변경은 학습 손실과 하위 작업 벤치마크, 학습·prefill·decode 비용, 최적 하이퍼파라미터와 안정성에 미치는 영향이라는 세 축으로 평가됩니다. n-gram 어휘를 키우면 손실은 계속 낮아지지만 하위 작업 정확도는 포화됩니다. 낮은 손실이 곧바로 실제 작업 성능을 보장하지 않는다는 뜻입니다.

의미와 영향

14개 사전학습 벤치마크에서 Qwen3.8-Flash-Next는 8개 항목에서 397B-A17B 이전 모델을 앞섰고, 나머지 항목의 격차도 최대 2.6포인트였습니다. 동시에 활성화 파라미터와 학습 토큰은 약 3분의 1, 학습 FLOPs는 약 9분의 1로 줄었습니다. 이 결과는 특정 단일 기법보다 희소 전문가, 혼합 token mixing, 외부 임베딩, 게이트 잔차를 함께 조정한 시스템 설계의 결과로 해석하는 편이 적절합니다.

논문은 옵티마이저도 설계의 일부로 다룹니다. 아키텍처와 Muon을 함께 사용하면 적절한 학습률과 배치 크기가 더 높은 방향으로 이동하고, 배치 크기 워밍업이 필요하지 않게 되며, 스트레스 테스트 안정성도 개선됐습니다. 구조 변경이 최종 성능뿐 아니라 최적화 조건 자체를 바꿀 수 있음을 보여주는 대목입니다.

가장 큰 시사점은 모델 효율을 파라미터 수 하나로 판단하지 말아야 한다는 점입니다. 능력, 손실, 학습 비용, prefill·decode 비용, 조정 난이도와 안정성을 하나의 평가표에서 비교해야 실제 운영에 가까운 결론을 얻을 수 있습니다.

출처: Hugging Face Daily Papers