X-AuT、段階的蒸留で音声LLMの音声エンコーダーを圧縮

音声大規模言語モデルの推論コストは、言語モデル本体だけで決まりません。入力音声を処理するエンコーダー、いわゆる音声タワーの深さも計算量や遅延に影響します。X-AuTはこの部分を小さくする際、単純にブロックを削除するのではなく、削除後の表現とモデルの振る舞いを蒸留によって復元する方法を提案しています。

どのように圧縮するのか

エンコーダーのブロックを丸ごと取り除くと、デコーダーに渡される音声埋め込みが変化します。論文の説明では、そのずれが文字の欠落や、終了トークンの早期出力につながる可能性があります。そこでX-AuTは、まず短い行動プローブを使い、どの層の組み合わせが有効かを確認してから圧縮構成を決めます。

圧縮後のモデルには、次のような学習信号を組み合わせます。

• 表現アライメント：学生モデルの表現を教師モデルに近づける。
• クロススケール蒸留：最終出力だけでなく、異なる表現階層から情報を伝える。
• 学生ポリシーの段階的な監督：学習の進行に合わせて、学生自身の出力方策を訓練へ取り入れる。
• LoRA微調整：言語モデル本体を凍結し、注意機構のLoRAアダプターと共有出力埋め込みを更新する。

データ処理も重要な要素です。転記の一貫性を確認するパイプラインから、合意度が最も高い層のデータを使い、微調整時にはデータソースの重みを再調整しています。つまり、構造を削るだけでなく、復元に使う教師信号の品質も管理する設計です。

実験から見えること

10件の公開中英ベンチマークでは、Qwen3-ASR-0.6Bの音声エンコーダーを18層から16層にすると、マクロ平均エラー率は5.61%から5.27%になりました。14層構成では音声タワーのパラメーターを20.7%削減し、平均エラー率は5.75%でした。今回の結果では、16層は誤り率を重視する構成、14層はより大きなパラメーター削減を狙う構成と整理できます。

蒸留の条件も結果に影響しています。同じレシピで1.7Bの教師モデルを使うと平均エラー率は5.55%でしたが、自己蒸留では8.45%でした。また、18層から14層へ段階的に進める剪定は5.75%で、14層へ直接剪定した場合の6.73%を上回りました。ただし、これらは単一実行の結果であり、ベンチマークごとの変化も一様ではありません。普遍的な改善とみなすには、追加検証が必要です。

意義と課題

X-AuTは、音声エンコーダー圧縮を「層を削る作業」から、層選択、行動評価、表現復元、効率的な適応を組み合わせた工程へと捉え直しています。実運用の音声認識では、精度、モデル規模、推論コストのバランスを細かく調整する手がかりになり得ます。一方で、実際のハードウェア上のエンドツーエンド遅延、複数回実験での再現性、他の音声モデルや言語への転移は今後の検証課題です。

出典：Hugging Face Daily Papers