InfinityEdit、固定動画から無限ストリーム編集へ

導入

現在の動画編集モデルの多くは、すでに完成した一定長のクリップを入力とし、決められた時間範囲内で映像を編集します。元動画と編集結果をフレームごとに対応させるため、スタイル変更や既存内容の修正には向いています。一方、ライブゲームの映像を継続的に別のスタイルへ変換したり、進行中のショットにカメラ移動を加えたりする用途では、未来のフレームがまだ存在しないため、この前提が適用しにくくなります。

InfinityEdit は、この状況を「無限動画編集」として扱います。直前の映像セグメントと編集指示を受け取り、元の流れを保ちながら次のセグメントを生成します。その後、新しい指示が届けば同じ処理を繰り返します。つまり、完成したファイルを一度だけ変換するのではなく、ストリームに対して編集を継続的に適用する考え方です。

主なポイント

• 編集対象を固定クリップからストリームへ拡張。 既知のフレームを編集するだけでなく、まだ生成されていない未来の内容を作る必要があります。そのため、指示への忠実さと時間的な継続性を同時に保つことが課題になります。
• 3つの注意機構を持つ軽量アダプター。 履歴クロスアテンションは入力フレームを使ってデノイズを導き、時間因果セルフアテンションは情報が過去から未来へ流れるよう制御します。編集クロスアテンションは、テキスト指示を生成へ注入します。
• 編集が発生したセグメントだけで適用。 推論時には、指示が届いたチャンクでアダプターを有効にします。後続チャンクはリセットされたアンカーフレームを用い、元のストリーミング生成モデルに戻して生成します。
• 専用のデータ収集手順を設計。 研究では、無限動画編集向けのデータ収集パイプラインを構築し、編集が積み重なった場合の安定性を意識してアダプターを学習しています。

意義と今後の課題

この研究の重要性は、動画編集の時間的な境界を広げた点にあります。ライブ配信、インタラクティブなゲーム映像、継続的に生成される仮想シーンでは、ユーザーが最初から完全な動画を用意できるとは限りません。また、ある時点以降の映像だけを変更したい場合、過去の映像全体を再処理する必要がない方が望ましいでしょう。ストリーミング編集が安定すれば、編集指示を生成中に届く制御信号として扱える可能性があります。

InfinityEdit は、元の生成モデルの継続能力をできるだけ維持しながら、編集機能をアダプターとして追加する設計も示しています。ただし、提供された素材には詳細な数値評価や実運用での検証結果は記載されていません。長時間にわたる人物・物体の一貫性、矛盾する指示の処理、複雑な編集の累積などは、今後検討すべき論点です。現時点では、固定動画の書き換えではなく、生成モデルとの継続的な対話として動画編集を捉えるアーキテクチャ上の提案と見るのが適切です。

出典：Hugging Face Daily Papers