背景
教師あり微調整(SFT)は、動画大規模言語モデル(VideoLLM)が映像について推論する能力を高めるために使われます。しかし、正答率が上がったからといって、モデルが映像をより深く理解したとは限りません。学習例に繰り返し現れる文章上のパターンを手掛かりにし、動画を十分に参照せず答えを推測することもあります。このような近道は、学習データと似た分布では表面化しにくい一方、条件が変わると映像情報を活用する利点を損なう可能性があります。
論文が提案するVETO(Video-Evidence Training via Orthogonal projection)は、問題のあるデータを事前にすべて特定して取り除くのではなく、微調整のパラメーター更新に介入します。狙いは、SFTによる性能向上を保ちながら、テキストだけに頼る近道を抑えることです。
手法と報告された結果
- データ上で近道を定義しにくい。 論文の要約によれば、テキスト上の規則性への依存は、学習エポック数、データ量、モデルのバックボーンにかかわらず生じます。そのため、学習分布内の正答率だけでは、モデルが動画を根拠にしているか判断できません。
- 更新を直交方向へ射影する。 VETOはまず、基盤モデルの活性化のうち、テキストのみの入力が占める部分空間を調整します。その後、微調整による更新をその部分空間の直交補空間へ射影します。どの文章パターンが近道なのかを個別に定義する代わりに、テキストのみの表現に関連する方向へ更新が進むことを抑える設計です。
- 分布が変わった条件も評価する。 著者らは7つのVideoLLMで、VETOが学習分布内のSFTの利得を維持し、近道を抑えたと報告しています。また、分布シフト下の6つのベンチマークでは通常のSFTより良い結果となり、モデルが近道ではなく入力全体を根拠に答えたと述べています。提供された素材にはベンチマーク名や具体的なスコア、改善幅は記載されていません。
意義と今後の確認点
この研究の重要な視点は、タスク能力の向上とデータの癖への依存が、微調整中に同時に起こりうるという点です。質問文の表現やテキストの共起パターンだけで答えを当てられる場合、見慣れた評価データでの正答率は、動画理解を過大評価するおそれがあります。VETOは、近道の内容を完全に特定するのではなく、テキストのみの入力に関連する表現空間を使って更新を制約する訓練時の対策を示しています。
一方、ここで確認できるのは、報告されたモデルとベンチマークでの効果です。すべての動画タスクで近道を解消できることを示したわけではありません。また、部分空間の調整方法、計算コスト、各ベンチマークの詳細やアブレーション結果は、提供素材にはありません。再現性や実運用での有効性を判断するには、そうした情報も必要です。コードは公開されています。
コメント
ログイン状態を確認中…
コメントを読み込み中…