VAD：マルチモーダル蒸留で教師の補正から視覚証拠を切り出す

導入

マルチモーダル on-policy distillation（OPD）は、より多くの視覚情報を利用できる教師モデルから、学生モデルへ細かな視覚知識を移すための枠組みです。学生がまず自分で生成した軌跡に対して、教師が次の token レベルで補正を与えるため、学生の実際の振る舞いに沿った蒸留が可能になります。

しかし論文 VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation が指摘するのは、その補正が必ずしも純粋な視覚知識ではないという点です。教師の出力には、画像から得た証拠だけでなく、言語的な事前知識や教師モデル固有の癖も混ざります。学生がそれらを一括して学習すると、視覚理解ではない要素まで取り込む可能性があります。

核心ポイント

• 重要なのは「どこを蒸留するか」だけではない：従来の方法は、蒸留すべき位置や重み付けに注目しがちでした。VAD はさらに、補正が視覚証拠に支えられているかを問います。
• 反事実的な比較を使う：各学生生成 prefix に対し、同じ固定教師モデルを用いて、関連する視覚証拠がある場合と取り除かれた場合の出力を評価します。
• 視覚証拠の方向を推定する：2 条件での centered log-probability の変化を、候補 token に対する証拠の支持または反証を表す符号付き proxy として扱います。
• 教師補正を分解する：元の補正をこの proxy 方向に射影し、視覚介入と整合する成分と、proxy では説明できない残差に分けます。
• 再構成された目標で学生を訓練する：主な教師信号には、視覚的に帰属できる成分から作った student-anchored target を用い、privileged teacher は弱い正則化として利用されます。

意義と影響

VAD の意義は、マルチモーダル蒸留を単なる「強い教師の模倣」から、「証拠に基づく補正の抽出」へ進めた点にあります。細粒度な視覚タスクでは、誤答の原因が言語能力不足ではなく、画像内の重要な手がかりを使えていないことにあります。教師が正しい方向に補正しても、それが視覚証拠によるものか、言語的な推測によるものかは分けて考える必要があります。

論文によれば、VAD は 6 つの細粒度視覚ベンチマークにおいて、4B および 9B 規模のモデルで、直接的な privileged-view distillation と visual-advantage weighting を上回りました。また token レベル分析と controlled-target 分析では、proxy と整合する成分がタスク関連の視覚補正をより多く含み、特に証拠が誤った答えを否定する場合に強い目標シフトを生むことが示されています。

この研究は新しいモデル発表というより、訓練信号の質を改善する提案です。視覚言語モデルを開発する立場から見ると、より良い蒸留とは教師をそのまま真似ることではなく、画像証拠によって裏付けられた部分を選んで学習させることだと言えます。

出典：Hugging Face Daily Papers