AV-FABLE、長尺動画の音声・映像改変を二つの時間軸で特定

導入

長尺動画のAI改変は、動画全体を作り替えるとは限りません。インタビューや講演、イベント記録、屋外のシーンなどに、数秒だけ変更された発話や効果音、映像を挿入するケースも考えられます。この場合、「動画は本物か」という二値判定だけでは、フォレンジック調査に必要な情報が足りません。改変がいつ起きたのか、そして音声と映像のどちらが影響を受けたのかを特定する必要があります。

研究論文「AV-FABLE: Audio-Visual Manipulation Forensics in Long-Form Videos」は、この課題に対応するベンチマークと手法を提案しました。ポイントは、音声と映像を一つの時間軸にまとめず、それぞれの時間軸で改変位置を評価することです。

主なポイント

• 長尺・疎な改変を対象にする基準。 AV-FABLEは、原本と改変版のペアを16,650組収録し、総計998時間、27種類の編集設定をカバーします。音声と映像の改変位置は個別に記録されます。
• 二つの時間軸で誤りを見える化。 共同の時間軸だけで評価すると、モデルが大まかな時刻を当てても、音声の問題か映像の問題かを区別できない可能性があります。AV-FABLEはこの違いを明示的に測定します。
• プロンプトだけでは取証にならない。 音声・映像大規模言語モデルをゼロショットで質問した場合、検出性能はほぼ偶然の水準で、時間的な特定も弱い結果でした。モデル内部に情報がないというより、自然言語の出力にその情報が十分現れていない可能性があります。
• NFSRは内部特徴を専用に読み出す。 Native Forensics via Separated Readoutsは、AV-LLMの知覚特徴を凍結したまま、音声用と映像用に分離した時間デコーダーを接続します。これにより、表現に埋め込まれたフォレンジック信号を直接利用します。
• 分布外でも評価。 NFSRはドメイン内で最も高い音声・映像定位性能を示しただけでなく、三つの分布外設定でも優位でした。外部の長尺動画フォレンジック基準に含まれる留保動画への転移も評価されています。

意義と影響

AV-FABLEの意義は、長尺動画フォレンジックの評価単位を細かくした点にあります。従来の音声・映像ディープフェイク基準は、短い人物中心の会話動画に重点を置く傾向がありました。しかし長尺のオープンシーンでは、背景音、カメラの動き、場面転換、人物以外の対象が含まれ、改変が短い出来事だけに限定されることもあります。音声と映像を分けることで、「異常を見つけた」ことと「異常の原因を説明できた」ことを区別できます。

この研究は、マルチモーダル基盤モデルの使い方にも示唆を与えます。内部表現に有用な感覚情報があっても、それが信頼できる文章回答として出力されるとは限りません。時間境界の精度が重要な取証タスクでは、プロンプトを工夫するだけでなく、汎用モデルを凍結し、モダリティ別の時間読み出し器を追加する設計が有効だと考えられます。

もちろん、実運用には未解決の課題があります。未知の編集方式への対応、誤検出の抑制、調査担当者が結果を検証しやすい証拠提示などです。それでもAV-FABLEは、動画が怪しいかどうかだけでなく、いつ、どのモダリティが改変されたのかを測るための明確な出発点を提供します。

出典：Hugging Face Daily Papers