희소 오토인코더가 밝혀낸 MoE 전문가의 세밀한 분업

들어가며

Mixture-of-Experts（MoE）모델은 각 토큰을 여러 전문가 중 일부에만 보내 계산량을 줄이면서 모델의 용량을 키웁니다. 하지만 라우터가 어떤 전문가를 선택했는지만 세어서는 그 전문가가 실제로 무엇을 담당하는지 알기 어렵습니다. 코드나 수학처럼 미리 정한 도메인별 데이터에서 선택 횟수를 집계하는 방식은 분류 체계를 사전에 고정하고, 전문가가 선택됐다는 사실만 기록하기 때문입니다.

새 연구는 이 문제를 다른 방식으로 다룹니다. MoE 계층의 출력을 희소 오토인코더（SAE）로 분석해, 라우팅 빈도가 아니라 모델 표현의 어떤 특징에 전문가가 실질적으로 기여했는지를 살펴봤습니다.

특징 공간에서 전문가 기여 분석

실험 대상은 Qwen3-30B-A3B의 4, 30, 46번 계층입니다. 연구진은 각 MoE 출력에 2^20개의 잠재 특징을 가진 TopK SAE를 학습하고, 각 입력에서 가장 강하게 활성화된 100개 특징을 분석했습니다. 전체 분석에는 약 15억 개 토큰이 사용됐습니다.

MoE 계층의 출력은 라우터 가중치가 적용된 여러 전문가 출력의 합입니다. SAE 인코더가 아핀 변환이므로, 각 잠재 특징의 사전 활성화값을 전문가별 기여로 정확하게 분해할 수 있습니다. 연구진은 이 분해를 전체 코퍼스에 걸쳐 집계해, 각 특징을 주로 활성화한 전문가를 찾았습니다. 그 결과 전문가마다 자신이 주도하는 잠재 특징 집합을 구성할 수 있었습니다.

이 접근법의 장점은 분석 전에 ‘코드’나 ‘수학’ 같은 범주를 정하지 않아도 된다는 점입니다. 전문가 간 경계는 모델이 학습한 특징 구조에서 직접 드러납니다.

핵심 결과

• 기여도는 게이팅보다 집중되어 있습니다. 어떤 전문가가 선택됐다는 사실이 최종 표현에 가장 큰 영향을 줬다는 뜻은 아닙니다. 기여도를 기준으로 보면 실제 주도권은 더 적은 수의 전문가에게 모였습니다.
• 대부분의 특징은 한두 전문가가 주도합니다. 많은 잠재 특징은 다수 전문가가 균등하게 만들어내는 것이 아니라, 제한된 전문가가 주로 담당했습니다. 전문가별 주도 특징 집합은 대체로 서로 분리되어 있었지만, 겹침이 큰 전문가 쌍도 일부 존재했습니다.
• 전문화는 대분류보다 세밀합니다. 특징 집합을 자동으로 해석한 결과, 코드 분야 안에서도 Java와 프런트엔드 웹 코드에 가까운 전문가가 구분됐습니다. 수학 영역 역시 기하, 산술, 다항식과 관련된 서로 다른 경향으로 나뉘었습니다.
• 전문가 분포는 불균등합니다. 30번 계층의 128개 전문가를 묶으면 11개의 상위 도메인을 얻을 수 있지만, 각 도메인의 크기는 크게 달랐습니다. 텍스트 형식, 언어, 엔터티와 식별자처럼 전통적인 주제 분야보다 표현 패턴에 가까운 그룹도 포함됐습니다.

의미와 한계

이 결과는 MoE가 단순히 ‘전문가 하나당 분야 하나’로 구성된 구조가 아니라는 점을 시사합니다. 전문가들은 다양한 세부 특징을 중심으로 서로 다른 정도의 주도권을 형성하며 분업하는 것으로 보입니다. 따라서 모델 해석 가능성뿐 아니라 라우팅 설계, 전문가 가지치기, 특정 부분만 조정하는 모델 적응에도 중요한 단서를 제공합니다.

다만 이번 결과는 세 계층의 SAE 분해와 특징 집합에 대한 자동 해석에 기반합니다. 따라서 관찰된 연관성이 곧바로 인과적 기능을 의미한다고 단정할 수는 없습니다. 더 많은 모델과 데이터에서 역할의 안정성을 확인하고, 특정 전문가를 직접 제거하거나 변경하는 개입 실험이 필요합니다.

연구진은 세 개의 SAE와 코드, 그리고 30번 계층의 128개 전문가를 살펴볼 수 있는 인터랙티브 탐색기를 공개했습니다.

Hugging Face Daily Papers