レポートがあるとき、医療VLMは本当に画像を見ているのか

導入

医療向けの視覚言語モデルは、X線画像、臨床質問、放射線レポートを同時に処理できます。しかし、レポートにすでに所見が書かれている場合、モデルが画像を詳しく分析しなくても、それらしい回答を生成できる可能性があります。したがって、最終回答が正しいだけでは、画像を実際に利用した証拠にはなりません。

Hugging Face Daily Papersで紹介されたModaLensは、この問題を画像の入れ替えによって調べます。質問とレポートを完全に固定し、画像だけを別の検査画像に変更したとき、モデルの回答が変化するかを測定する方法です。

評価の仕組み

主な実験では、MedGemma-27BをMIMIC-CXRの3199件のペア症例で評価しました。対象は293人の患者で、各症例に14個の質問を適用します。内訳は、個別の所見に関する13問と、複数の所見を含む複合問題1問です。元の質問とレポートを維持したまま、画像を別の検査のものへ置き換えます。置換画像の多くは同じ患者から選ばれ、患者の身元や大まかな病歴の違いを抑えています。

レポートを提示する条件と提示しない条件を比較し、画像交換後に生成回答が変わる割合を記録しました。また、二値回答が反転しない場合でも、連続的な回答スコアが動くかどうかを確認しています。

主な結果

• 明示的な回答指示を使った場合、レポートありでは画像置換後の回答変化率が4.26%でした。
• レポートなしでは20.94%に上昇し、ペア比較で16.7ポイントの差となりました。患者単位でクラスタリングした95%信頼区間は15.6〜17.7ポイントです。
• 元のプロンプトと小文字の先頭トークンを読む方式でも、レポートあり4.70%、なし17.07%となり、同じ傾向が得られました。
• 二値回答が変わらないケースでも、画像置換によって連続スコアが変わることがあり、単純なラベル反転だけでは画像の影響を過小評価する可能性があります。
• この傾向は、追加の2つのモデル系列でも再現されました。ただし、提供された要約には具体的な数値はありません。

意義と限界

このプロトコルでは、レポートがあるとモデルの画像置換への感度が下がりました。レポートが強いテキスト上の手掛かりとなり、モデルが現在の画像を十分に利用しなくても回答できるため、と解釈できます。ただし、これはモデルが画像を完全に無視していることや、臨床上必ず信頼できないことを証明するものではありません。

重要な制約として、評価ラベルは放射線レポートから作られています。そのためModaLensが直接測定するのは、画像を変えたときに出力が変わるかどうかであり、視覚的な医学判断が正しいかどうかではありません。プロンプト、出力の読み取り方法、モデル系列、画像ペアの作り方も数値に影響し得ます。

ModaLensの価値は、マルチモーダルモデルがどの情報源に依存しているかを、再現可能な監査課題にした点にあります。今後は精度だけでなく、画像を入れ替えたときの反応、連続スコアの変化、独立した画像ラベルを組み合わせる必要があります。

出典：Hugging Face Daily Papers