SIMIT、視覚言語モデルにテスト時の「予習」をさせる

概要

視覚言語モデルでは、推論を長くしたり同じ質問への回答を何度も生成したりすることで、結果が改善する場合があります。しかし、こうした方法はモデルそのものを変えるわけではありません。デンマーク工科大学の研究者らが提案したSIMITは、テスト時の推論を短い「予習」の機会に変えます。モデルは未知のテスト質問に答える前に、その質問に近いマルチモーダルな練習問題を作り、そこから適応します。

仕組みのポイント

SIMITが重視するのは、モデルに直接「自分の答えは正しいか」と尋ねないことです。複数回答の多数決や自己評価を報酬にする方式では、同じ誤りを繰り返すことで、その誤りを強化する可能性があります。SIMITでは、まず答えを指定し、その答えに合う画像と質問を後から実現します。そのため、対象のテスト問題を正しく解けなくても、制御可能な練習例を構成できます。

主な構成は次の通りです。

• クエリに合わせたデータ生成：一般的なデータセットではなく、対象となる質問に関連する「質問・答え・画像」の組を作ります。
• 構造化画像への対応：通常の画像生成に加え、文書、グラフ、図解などを扱う拡張可能なスキルライブラリを利用します。
• 多段階の検証：生成された画像が指定された答えを本当に支持しているかを確認し、画像とテキストの不一致を抑えます。
• 難易度による選別：簡単すぎる、または情報量の少ない例を除き、学習に役立つ練習例を残します。
• 適応的な予算配分：モデルの確信度が低い質問には、より多くのサンプルを割り当てます。

生成したデータの利用方法は二つあります。SIMIT-ICLでは、練習例をコンテキスト内に置き、パラメータを更新せずに回答を補助します。SIMIT-FTでは、テスト時に生成例を使って微調整し、適応をモデルの重みに反映させます。前者は学習なしで利用しやすい一方、後者は追加の更新処理と計算コストを必要とします。

結果と意味

論文は17の多様なベンチマークでSIMITを評価しています。提供された素材によると、最良の構成はBAGEL-7Bに対して平均相対7.20%の向上を示し、学習を行わないSIMIT-ICLも6.98%の平均相対向上を達成しました。重要なのは、単に長く考えるのではなく、モデル自身の生成能力を対象タスク向けの練習データへ変換している点です。

この発想は、マルチモーダルモデルのテスト時計算を「回答を繰り返す処理」から「回答前の小さな適応サイクル」へ広げます。一方で、合成画像の品質、検証処理の信頼性、データ生成と微調整に必要なコストは残る課題です。SIMITのような手法が実運用へ広がるには、これらの条件を安定して満たせるかが重要になります。

出典：Hugging Face Daily Papers