MAEP, 모달리티별 전문가 가지치기로 MoE 멀티모달 모델 압축

배경

Mixture-of-Experts（MoE）는 각 토큰에 소수의 전문가만 연결해 계산량을 통제하면서 모델 용량을 확장합니다. 하지만 실제 계산에 참여하는 전문가가 적더라도 모든 전문가의 가중치는 메모리에 저장해야 합니다. 멀티모달 대규모 언어 모델에서는 전문가 파라미터가 전체 모델 크기의 90% 이상을 차지할 수 있습니다. 자료에 따르면 InternVL3.5-30B-A3B와 Qwen3-VL-30B-A3B는 BF16 기준 약 58GB의 전체 크기 가운데 전문가 가중치가 약 54GB에 이릅니다.

따라서 일부 전문가를 제거하면 단일 GPU에서 모델을 구동하기 쉬워집니다. 그러나 이미지 이해와 텍스트 생성에서 같은 전문가가 서로 다른 역할을 수행할 수 있습니다. 시각 토큰과 텍스트 토큰을 구분하지 않는 기존 중요도 계산은 한쪽 능력을 과도하게 희생할 위험이 있습니다.

MAEP의 핵심 설계

MAEP（Modality-Aware Expert Pruning）는 시각 토큰과 텍스트 토큰을 따로 분석해 전문가 중요도를 계산합니다. 추가 학습 없이 한 번의 순전파에서 정보를 얻고, 모든 레이어의 전문가를 통합해 순위를 매기는 방식입니다.

주요 구성은 다음과 같습니다.

• Delta-H Output（ΔH）: 특정 전문가를 제거했을 때 MoE 출력이 얼마나 달라지는지 측정합니다. 단순한 게이트 점수뿐 아니라 라우팅 재분배에 따른 출력 변화까지 고려하려는 지표입니다.
• 낮은 주의의 시각 토큰: 비전 측 프루닝 신호로 주의도가 낮은 시각 토큰을 사용합니다. 자료는 서로 다른 데이터셋에서도 이 신호가 유사한 전문가 중요도 순위를 만든다고 설명합니다.
• 보존 신호와 제거 신호의 분리: 텍스트 측 중요도는 언어 능력을 보존할 전문가를 찾는 데 사용하고, 비전 측 중요도는 제거 후보를 식별하는 데 사용합니다. 비교는 레이어별로 고립하지 않고 전역적으로 수행합니다.

결과와 의미

보고된 실험은 세 가지 MoE 기반 멀티모달 언어 모델과 멀티모달·텍스트 전용 벤치마크를 대상으로 합니다. 모달리티를 구분하지 않는 기준선과 비교해 대부분의 멀티모달 벤치마크에서 더 나은 결과를 보였고, 텍스트 작업에서도 경쟁력 있는 성능을 유지했습니다. 전문가를 약 절반 제거하면 BF16 전문가 가중치를 약 27GB, 전체 메모리의 약 47% 줄일 수 있습니다. 이에 따라 약 58GB 규모의 전체 가중치를 단일 40GB GPU에 적재할 수 있다고 합니다.

이 연구의 의미는 멀티모달 모델 압축에서 전문가를 서로 완전히 대체 가능한 구성요소로 볼 수 없다는 점을 보여준 데 있습니다. 전문가의 역할이 입력 모달리티에 따라 달라진다면, 압축 기준도 이를 반영해야 합니다. 재학습이 필요 없다는 점은 기존 모델을 배포 환경에 맞게 조정하는 비용을 낮출 수 있습니다.

다만 제공된 자료에는 세부 벤치마크 점수, 추론 지연시간 변화, 프루닝 비율별 성능 곡선이 포함되어 있지 않습니다. 실제 적용 가능성을 판단하려면 논문 전문에서 이러한 조건과 한계를 추가로 확인해야 합니다.

Hugging Face Daily Papers