GeminiにAgentic Video Understanding、動画の「見る場所」を自律判断

長時間動画の理解には、詳細さとコストのトレードオフがあります。多くのフレームを読み込めば短い動作や微細な変化を見逃しにくくなりますが、トークン使用量と推論コストが増えます。一方、サンプリングを粗くすると効率は上がるものの、重要な瞬間を取りこぼす可能性があります。Google DeepMindのAgentic Video Understandingは、この処理方法そのものを変えようとする機能です。

固定サンプリングから能動的な確認へ

従来の動画処理では、一定のフレームレートで動画を読み込ませるのが一般的でした。Gemini APIの既定値は毎秒1フレームで、開発者は必要に応じて変更できます。しかし、この方式では、質問と無関係な部分まで同じ密度で処理してしまいます。また、短時間で起きる動作がサンプリングの間に入ると、正確に捉えられないことがあります。

新しいエージェント型の処理では、Geminiが質問の目的に応じて、どの時間帯を見るか、どの程度のフレーム密度で確認するか、映像・音声・字幕のどの情報を使うかを判断します。内部の動画ツールを呼び出すループを通じて、まず候補区間を探し、必要ならその区間を高いフレームレートで再確認します。これまで開発者が個別に実装していた分割、再サンプリング、情報源の切り替えを、モデル側で処理できるようにする考え方です。

公式が示す効果と用途

Googleによると、標準的な動画理解ベンチマークでは、エージェント型処理によってトークン使用量を最大88%、分析コストを最大66%削減し、精度を最大7%向上させました。これらはテストされた条件での最大値であり、すべての動画や質問で同じ効果が出ることを意味しません。動画の長さ、内容、音声品質、選択するモデルなどによって結果は変わります。

主な用途として、次のような例が挙げられています。

• 1秒未満の場面検索：状態変化やカットの境界を特定し、自動編集に活用する。
• 長時間動画の検索：講義、チュートリアル、数時間の記録から質問に関係する情報を探す。
• 異常検知：疑わしい区間だけを高密度で再解析し、微細な映像上の異常を確認する。
• 動作・物体のカウント：高速な反復動作や個別の物体を時間軸に沿って追跡する。

開発者と動画サービスへの影響

重要なのは、単にトークンを節約することではありません。モデルが「何を見るべきか」という観察戦略を推論の一部として扱える点にあります。動画全体を一度に処理するのではなく、必要な時間情報へ問い合わせる仕組みに近づくため、長時間動画を扱うアプリケーションでは独自の前処理コードを減らせる可能性があります。

この機能はGoogle AI StudioとGemini Enterprise Agent PlatformのGemini APIで提供され、Gemini 3.7 Flash、3.6 Flash、3.5 Flash-Liteに対応します。API設定で処理方式を「agentic」に変更して利用します。Googleは追加の機能料金を設けず、標準のGemini APIトークン価格を適用すると説明しています。

今後はGeminiアプリへの展開に加え、YouTubeの動画視聴ページにあるAsk YouTubeにも導入される予定です。実現すれば、動画全体の要約だけでなく、質問に直接関係する場面や根拠を探す応答が可能になります。ただし、公開された数値はベンチマークと早期検証に基づくため、実際の品質は動画形式や質問内容に左右される点には注意が必要です。

出典：Google DeepMind