DF26：AI動画は人間と検出器の双方を欺く

導入

動画が「本物らしく見える」ことは、実際に撮影されたことの十分な証拠ではなくなりつつある。論文「DF26: We Cannot Tell Fake From Real Anymore」は、この問題を検証するための新しいベンチマークを提案した。従来型の顔交換や一部編集だけでなく、最新のテキスト・トゥ・ビデオ、画像・トゥ・ビデオモデルが作る完全合成動画を対象にしている。

主なポイント

• 現代の生成方式を対象にする。 合成データは、古いディープフェイク手法の痕跡だけに依存しないよう、近年の動画生成モデルから作られている。
• 日常的な発話場面に絞る。 動画には、カメラに直接向かう録画、公式声明、スタジオインタビューが含まれる。ニュース、政治、企業広報、オンラインメディアで見慣れた形式だ。
• 実写と合成を明確に比較できる。 データセットは実写271本、合成動画2420本で、合成部分は7つの現代的な動画モデルから生成された。
• 人間にも検出器にも明確な優位性がない。 研究では、人間の判定能力と最先端のディープフェイク検出器の性能が、いずれも偶然に近い水準だった。注意深く見るだけでも、自動検出器に任せるだけでも、安定した判定は難しい。

なぜ重要なのか

多くの検出器は、既存のデータセットで学習・評価される。その方法は、既知の偽造パターンを学習できたかどうかは示すが、生成モデルが変わったときの一般化性能までは保証しない。新しいモデルが動き、レンダリングの統計、顔の動き、人物の振る舞いを変えれば、以前の検出器が使っていた手掛かりは失われる可能性がある。人間も、映像全体が自然につながっていると異常を見つけにくい。

DF26は、すべての生成動画が検出不能だと主張しているわけではない。重要なのは、固定されたベンチマークで高得点を取ることと、未知の生成モデルに対して頑健であることは別だと示した点にある。これはコンテンツモデレーション、報道の検証、公式発表、そして自動判定を最終結論として扱う運用に関わる。

影響と今後

今後の評価では、固定データセットのスコアだけでなく、生成モデルの分布変化に対する頑健性を測る必要がある。未知のモデルによる完全合成動画を継続的に追加し、学習分布とテスト分布の違いも明示すべきだろう。また、検出結果は唯一の真偽判定ではなく、出所情報、文脈、複数のフォレンジック信号と組み合わせる一つの材料として扱う必要がある。

人間と現行検出器が同時に苦戦するなら、課題は単により強い分類器を作ることではない。生成技術の変化に追随できる評価と検証の仕組みを設計することが、より本質的な課題になる。

出典：Hugging Face Daily Papers