FlowMimic：用像素对流场把图像编辑“迁移”到视频编辑

导语

视频编辑模型的能力提升，往往被数据卡住。传统做法通常要人工标注掩码、借助图像转视频模型或类似 ControlNet 的引导再合成样本，还要经过视觉语言模型筛选与修正，流程长、成本高，而且任务覆盖面有限。FlowMimic 的思路很直接：既然图像编辑数据更容易获得，那能不能把它“变形”为视频编辑数据，让一个模型同时学会生成与编辑？

核心要点

• 用像素对流场生成视频编辑样本：论文提出 pixel-pair temporal warped flow field，可从图像编辑样本实时生成对应的视频编辑样本。
• 不依赖掩码标注：相比人工分割和显式区域标注，这种方式更适合在线生成数据，降低数据构建成本。
• 统一图像与视频模态：作者把图像视为视频的一种特殊形式，并设计了 modality mimic generation loss 与 modality mimic editing loss，让两种模态通过互相模仿来对齐能力分布。
• 强化语言驱动编辑能力：语言编辑不仅要求理解指令，还要定位参考图像中的对应区域并只修改目标部分。论文尝试引入感知相关任务，帮助模型内化这种定位能力，而不是依赖外部辅助模块或额外掩码输入。

这项工作的意义

FlowMimic 的价值，不只是提出一种新的数据生成技巧，更在于它重新梳理了图像编辑与视频编辑之间的关系。过去两者常被当成不同问题分别处理，结果是视频编辑数据稀缺、任务种类也明显少于图像编辑。若像这篇论文所设想的那样，通过统一的数据生成机制和模态对齐机制把两者连接起来，后续模型训练就可能更高效，也更容易覆盖复杂的编辑场景。

从应用角度看，这类方法有望减少人工标注和后处理环节，让视频编辑数据的生产更接近“在线化”和“规模化”。从研究角度看，它也提示我们：提升多模态编辑能力，未必一定要增加更复杂的外部控制器，另一条路径是让模型自己学会在不同模态之间迁移能力。

不过，就目前公开摘要来看，这篇工作更像是一个方法框架与训练范式的探索，真正效果还需要结合论文中的实验结果进一步判断。它的重要性在于提供了一个值得继续验证的方向：把图像编辑数据当作视频编辑学习的基础资源，并通过模态互模仿缩小两者差距。

来源： Hugging Face Daily Papers