FlowMimic：画像編集データから動画編集を学ぶ新しい枠組み

導入

動画編集モデルの精度向上は、しばしばデータ作成の難しさに阻まれます。従来の動画編集データ収集では、マスク注釈、画像から動画への合成、ControlNet 系の誘導、そして VLM による品質確認など、多くの工程が必要でした。そのため、画像編集に比べてタスクの種類も少なくなりがちです。FlowMimic は、この構造的な問題をデータ生成の側から解こうとしています。

要点

• 画像編集から動画編集へ変換: pixel-pair temporal warped flow field を使い、画像編集サンプルから対応する動画編集サンプルをリアルタイムに生成する。
• マスク不要: 人手による領域注釈に依存せず、データ作成の負担を下げる。
• 画像と動画を一体化: 画像を動画の特殊ケースとして扱い、modality mimic generation loss と modality mimic editing loss で両者の出力分布を近づける。
• 言語指示編集の内在化: 指示の理解、参照内容の中での領域特定、その部分だけを修正する能力を、外部マスクや追加モジュールに頼らず学習させることを目指す。

意義

この研究の面白さは、単に動画編集を強化するだけでなく、画像編集と動画編集の境界を薄くしようとしている点にあります。もし画像編集データを効率よく動画編集へ転用できれば、学習用データの量と多様性を同時に高められる可能性があります。

また、言語ベースの編集において重要なのは、指示の理解だけではなく、どこを直すべきかを正しく見つけることです。FlowMimic はその局所化能力をモデル内部に持たせようとしています。これは、将来の編集モデルが外部支援にどこまで頼るべきかを考えるうえでも示唆的です。

公開されている要約だけを見ると、これは製品発表ではなく方法論の提案です。実験の詳細は論文全体で確認する必要がありますが、少なくとも方向性は明確です。動画編集データを作りやすくし、画像と動画の編集能力を近づけることが、この研究の中心的な狙いです。

出典: Hugging Face Daily Papers