AV-Flamingo：長尺で複雑な動画を理解するオープン音声・映像モデル

導入

長い動画を理解するには、単に画像を連続で見るだけでは足りません。音声、映像、時間の流れが絡み合い、重要な手がかりが何分も離れた場所に出てくることもあります。AV-Flamingo は、まさにこの長尺・複雑な音声映像理解を狙って設計されたオープンモデルです。

主なポイント

• 実世界データを大規模に整備：Audio-Visual-Skills は約 700万件の caption と QA を含み、時間的推論、組み合わせ的理解、音声と映像の横断的な関係を重視しています。
• 段階的な学習設計：短距離の知覚から始め、徐々に長い文脈での多イベント推論へ進む 3 段階のカリキュラムを採用しています。
• 推論の時刻整合性を改善：Temporal Audio-Visual Interleaved Chain-of-Thought により、中間推論を入力中のタイムスタンプに結びつけ、どの瞬間の情報に基づいて判断したかを追いやすくしています。
• 広いベンチマークで強い：15以上の音声・映像、オムニモーダル、音声、視覚ベンチマークで、同規模のオープンモデルを明確に上回り、より大きなオープンウェイトや閉鎖型モデルと比べても競争力があります。

意義

この研究の重要性は、長動画理解に必要な要素をかなり具体的に示した点にあります。大量で現実的なデータ、段階的な学習、時間に紐づく推論という3つの設計は、動画検索、監視、コンテンツ理解、学習支援など、実務に近い場面で役立ちます。

また、オープンモデルでも長時間・多イベント・マルチモーダルな課題でかなり戦えることを示した意味は大きいです。今後は、閉鎖型APIに依存せず、開発者が自分の用途に合わせて拡張する流れを後押しする可能性があります。

出典：Hugging Face Daily Papers