弱くして強くする：WISDが外部教師なしで推論モデルを自己蒸留

導入

推論モデルをさらに改善するには、より強い教師モデル、正解付きデータ、あるいは推論過程の良し悪しを判定する追加情報が必要になることが多い。しかし、利用できるのが未ラベルのプロンプトだけなら、こうした条件をそろえるのは難しい。Jet-AIの研究チームは、この問題に対して Weakening-Induced On-Policy Self-Distillation（WISD）を提案した。

WISDの発想は一見すると逆説的だ。より強い自己教師を作るのではなく、元の推論モデルを意図的に弱くしたコピーを用意し、元モデルとの違いから学習信号を得る。

手法のポイント

論文では、弱いモデルを次の二つの方法で構築している。

• 低ビット量子化：パラメータの数値精度を下げる。
• 大きさに基づくプルーニング：絶対値の小さいパラメータを取り除く。

そのうえで、元モデルと弱化コピーの推論時の振る舞いを比較し、その差を訓練に利用する。外部の教師モデルや特権情報を必要としないため、未ラベルプロンプトしかない環境で使いやすい点が特徴だ。オンポリシーという性質は、固定された模範解答だけに頼るのではなく、モデル自身の推論行動と結び付いた信号を使うことを示している。

実験結果

WISDは、複数のアーキテクチャとモデル規模を対象に、数学およびコード推論タスクで評価された。平均では、量子化が元モデルより4.0ポイント、プルーニングが5.5ポイント精度を向上させた。

具体的には、プルーニングによってQwen3.5-4BのHMMT 2025精度は57.7%から70.5%に、LiveCodeBench v6では39.1%から56.7%に上昇した。また、Qwen3.6-35B-A3Bでは、量子化により同じ二つのベンチマークで精度が68.5%から74.6%、61.8%から69.5%へ改善した。

意義と限界

WISDが示すのは、自己蒸留の教師信号は必ずしも大型モデルや追加のラベルから得る必要がないという可能性だ。圧縮や推論効率化のために使われる量子化・プルーニングを、学習時に有用な「対照」を作る手段として利用している。

一方、提供された素材からは、量子化ビット数、プルーニング率、学習設定ごとの影響までは分からない。また、すべてのタスクで同様の改善が得られるかも確認されていない。今後は、異なるモデルや推論領域での再現性が重要になる。

出典：Hugging Face Daily Papers