視覚言語モデルは画像について質問に答えられます。しかし、最終的な回答だけでは、画像中の概念が内部でどう表現され、課題に必要な情報が実際に選ばれたのかは分かりません。新たな研究は、グローバル・ワークスペース理論(GWT)の考え方を手がかりに、モデル内部の概念へのアクセス可能性、課題に応じた選択、そして後続計算への影響を調べます。そのために提案されたのが Multimodal Concept Lens(MC-Lens)です。ここで「意識」は理論上のたとえであり、モデルに主観的体験があると証明するものではありません。
視覚と言語を共通の意味空間で比べる
GWTは、並列する処理過程から情報が選ばれ、統合され、専門的な処理に利用可能になると考えます。研究者はこの考えを、モデルについて検証可能な問いに置き換えます。ある概念は内部表現に存在するのか。質問に応じて、その概念にアクセスするのか。アクセスされた情報は、その後の計算に影響するのか。
MC-Lensは多モーダルのヤコビアン・レンズです。視覚エンコーダーと言語デコーダーの中間状態をそれぞれ読み取り、デコーダーの出力語彙で定義された共通意味空間へ写像します。これにより、最終回答だけに頼らず、異なるモダリティの概念を共通の座標系で比較できます。また、概念を捉えて表すための「読み出しキャリア」を、単一の名称トークンからトークン集合へ拡張します。概念情報をより適切に扱い、反実仮想的な介入を行うための工夫です。
概念が表現されることと、使われること
論文が報告する主な知見は次の通りです。
- 中間状態から多モーダルな概念情報を読み取ることができ、アクセスされる情報は課題に応じて選択されます。内部に概念が表現されていることと、毎回それが使われることは同じではありません。
- 反実仮想実験では、アクセスされた概念情報を変えると後続の計算や推論に影響が生じます。概念情報が処理に関与することを示す一方、推論機構の全容を明らかにするものではありません。
- 制御された学習過程を追うため、研究者はクロスモーダルな概念整合を測る二つのJ-space指標を提案しました。報告によれば、隠れ状態間のコサイン類似度よりも、整合の発達を明瞭に捉えます。また、概念のアクセス可能性が先に生まれ、信頼できる選択的アクセスは後から発達するという結果も得られました。
- モデル内部の構成には違いがあるものの、複数のモデル系列・規模で、概念のアクセス可能性、質問に依存した選択、課題をまたぐ介入効果に共通パターンが見られました。
意義と解釈の限界
この研究の意義は、モデルが何を表現できるかと、特定の課題で何を実際に利用するかを分けて調べられる点にあります。共通意味空間と介入実験を使えば、画像と言葉の類似度や最終回答だけでは見えにくい情報の流れを分析できます。提案された指標はクロスモーダル整合の研究にも役立つ可能性がありますが、素材からは、指標を最適化すれば実際の課題性能も向上するとまでは言えません。
また、GWTが意識研究に由来することと、今回の結果が意識を示すことは別です。実験が扱うのは、概念表現の読み出し、課題に応じたアクセス、後続計算への影響です。多モーダル人工システムを分析するための実験的な足場を与える研究であり、主観的体験の証明でも、推論過程全体の説明でもありません。
コメント
ログイン状態を確認中…
コメントを読み込み中…