Venus-DefakerOne2、視覚フォレンジックの対象範囲を拡大

導入

現実の偽造は、顔交換だけに限りません。画像編集、生成モデルによる合成、文書の改ざん、画面や写真などを使った物理的な欺瞞も、視覚システムをだます手段になり得ます。さらに対象は静止画から動画へ広がっています。Venus-DefakerOne2は、こうした異なる脅威を一つの視覚フォレンジック基盤モデルで扱い、二値判断を行うことを目指します。

主なポイント

• 広い偽造範囲。 評価対象には、ディープフェイク顔、AI生成画像、改ざん文書、操作された自然画像、物理的スプーフィング、AI生成動画が含まれます。
• 混合型の微調整。 数千万件の公開および社内サンプルを使い、Tide-Style-Tuningを導入します。LoRAと全パラメータ微調整を交互に実行し、計算効率、汎化性能、難しいサンプルへの適応を両立しながら、壊滅的忘却を抑える設計です。
• エントロピーによるテスト時適応。 Entropy-based Test Adaptationは予測エントロピーを分析し、適切な予測モダリティを選びます。素材ではモダリティの具体的な定義までは説明されていません。
• 報告された性能。 ディープフェイク顔96.7%、AI生成画像93.3%、改ざん文書87.6%、操作された自然画像89.6%、物理的スプーフィング93.1%、AI生成動画96.0%です。著者らは、専門モデルと前世代のDefakerOneを上回ると説明しています。

意義と限界

この研究の重要性は、視覚フォレンジックの設計単位を広げた点にあります。従来の検出器は、特定の改変方式やメディア形式に最適化されることが多く、新しいデータ分布、圧縮条件、攻撃経路にそのまま適用できるとは限りません。Venus-DefakerOne2は、画像・動画、デジタル改変・物理的欺瞞を横断するモデルを目指します。

Tide-Style-Tuningは、パラメータ効率と適応力のトレードオフに対する一つの回答です。LoRAは計算資源を抑えやすい一方、難しい例への適応に制約が出る可能性があります。全パラメータ学習は柔軟ですが、コストが高く、既存能力を上書きするリスクもあります。交互に使う設計は合理的ですが、効果を確かめるには消融実験やドメイン横断評価が必要です。

また、提示されたパーセンテージだけで実運用の安全性を判断することはできません。素材にはデータセット規模、閾値、誤検出率、見逃し率、推論コストが記載されていません。本人確認、コンテンツ審査、メディア来歴のような高リスク用途では、モデル出力を人手確認や他の証拠と組み合わせる必要があります。

総じて、本研究は個別の専門検出器から、より広い視覚反偽モデルへ向かう方向性を示しています。未知の生成器や撮影条件、変化する攻撃に対しても安定するかは、追加の技術情報と独立検証に委ねられます。

Hugging Face Daily Papers