EVAThink：映像の証拠量に応じて考え方を切り替える動画モデル

導入

動画視覚言語モデル（VLM）は、質問を受けるたびに長い推論を実行すべきなのでしょうか。それとも、映像中の証拠が十分なら、すぐに答える方がよいのでしょうか。固定されたフレーム数で動画を理解する場合、重要なのはモデルの推論能力だけではありません。質問に必要な場面や動作が、サンプリングされたフレームに残っているかどうかが大きく影響します。EVAThinkは、この「証拠の十分性」を回答モード選択の手がかりとして学習します。

主な仕組み

• 回復可能な証拠ギャップの発掘。 同じ質問、同じ答え、同じフレーム予算を保ったまま、証拠が密な動画ビューと疎なビューを構成します。入力するフレーム数を増やすのではなく、何が見えているかの違いを比較できる設計です。
• 推論が有効な例を選別。 疎なビューでは直接回答の精度が密なビューより低い一方、明示的な推論を行うと改善するペアだけを残します。これにより、証拠が少ないから即座に諦めるのではなく、残された手がかりを結び付けるべき状況を教えられます。
• 二段階の強化学習。 第一段階では、証拠に基づいて直接回答か推論かを選ぶ傾向を学習します。第二段階では、回答の効率をさらに調整します。また、最初の出力トークンのアドバンテージを正則化し、常に推論する、あるいは常に直接回答するというモード崩壊を抑えます。

結果と意義

EVAThinkは6700件の厳選サンプルだけで学習され、提供された概要によれば、32フレームと64フレームの両方で、複数の動画理解ベンチマークにおいてベースモデルを一貫して改善し、平均では強力なベースラインも上回りました。ただし、素材にはベンチマークごとの数値や詳しいタスク一覧がないため、すべての個別条件で優位だったとまでは断定できません。

この研究の意義は、動画推論を固定的な手順から条件付きの計算へと変えた点にあります。映像証拠が明確なら短く答え、不完全でも手がかりをつなげられるなら追加の推論を使う、という使い分けです。今後は、関連フレームの能動的選択、証拠の位置特定、長時間動画の検索と組み合わせることで、モデルが「どれだけ考えるか」だけでなく「何を見るか」も適応的に決められる可能性があります。

出典：Hugging Face Daily Papers