背景
動画生成モデルが目立つ歪みやちらつきを抑えるにつれ、見た目の欠陥だけに頼る検出は難しくなります。Show Labの研究チームは、個々のモデルに特有の画像上の欠点ではなく、生成からデコードまでの処理が残す時間方向の構造に注目しました。この痕跡を VAE Rhythm と名付けています。
デコード処理に現れる周期
多くの動画生成器は潜在表現を作り、3D因果VAEで連続フレームへとデコードします。この種のデコーダは、各フレームを独立に扱うのではなく、隣接するフレームをグループとして処理することがあります。論文では4フレーム単位が一般的で、LTXやKling 3.0などでは8フレーム単位の場合もあると説明しています。その結果、グループ内の位置によってフレームの再構成忠実度が上下し、周期的な変化が生じる可能性があります。1フレームずつ撮影される実写映像には、同じ生成時のグループ構造がないため、この特定のリズムは通常現れません。
ここで手掛かりとなるのは、誤差が大きいか小さいかではありません。フレームグループの位置合わせを変えたとき、再構成誤差が周期的に変動するかどうかです。
学習不要のphase scan
研究チームは、既製の動画VAEを用いる phase scan を提案しました。同じクリップについて、開始フレームのオフセットを連続的に変えながら再構成し、各オフセットでの誤差に周期性があるかを測ります。スキャン側のフレームグループが元の生成時のグループと揃うと残差が低下し、オフセットをずらすと揃い方が変わって誤差に周期的な揺れが現れます。報告された実験では、実写映像の曲線はより平坦でした。この方式は誤差の絶対値ではなく、オフセットに対する周期性を評価します。
31の生成器に属する39のモデル変種を調査したところ、大半でVAE Rhythmが確認され、クローズドソースのSora、Kling 3.0、Seedance 2.0も含まれました。DF26では学習不要のリズムスコアが76.2% AUROCとなり、比較対象の再学習済みベースライン15種を上回りました。また、この信号をプラグインとして加えると、評価した19種類すべての検出器でAUROCが6.7~23.7ポイント向上したと報告されています。
検出器への応用と課題
研究では実写クリップとそのVAE再構成を、共通の後処理条件で対にしたデータも作り、CaDetの学習に利用しました。論文によると、CaDetはAIGVDBench、DF26、さらに2026年のクローズドソースモデル3種の評価で高いAUROCを達成しています。生成動画を学習に使わないCaDet-GFも、AIGVDBenchで報告された2つの結果がいずれも90%を超えました。デコード痕跡は単独の判定スコアにとどまらず、学習型検出器を補う情報になり得ます。
VAE Rhythmの意義は、意図的に減らされやすい外観上の欠陥から、生成パイプラインの構造的特徴へ検出の焦点を移した点にあります。一方、すべての生成器が同じ痕跡を残すことや、単一指標であらゆる動画の真偽を判定できることが示されたわけではありません。実運用に向けては、コーデック、編集、モデル更新が信号に与える影響を引き続き検証する必要があります。
コメント
ログイン状態を確認中…
コメントを読み込み中…