长视频理解的“冰箱大象”：FramePack-U如何用固定内存打包帧

导语

当视觉语言模型开始处理数十分钟、数小时乃至电影长度的视频时，真正棘手的问题并不只是“看得够不够多”，而是模型是否有足够的内存承载这些画面。按照常见做法，系统会把采样得到的每一帧编码成视觉Token，再拼接到上下文中。视频越长，Token数量就越多，显存占用和推理延迟也随之线性上升。

来自北卡罗来纳大学教堂山分校的研究者提出 FramePack-U，试图从“不断压缩序列”进一步转向“固定大小打包”。这是一种训练免、推理阶段可用的框架，不要求微调模型，也不需要改动现有视觉语言模型的结构。

核心方法

• 让文本问题参与帧选择。 FramePack-U首先依据帧与文本提示之间的语义相似度进行评分。与问题更相关的画面会获得更高优先级，避免把有限预算平均分配给大量无关镜头。
• 兼顾相关性与多样性。 仅按相似度排序可能选出许多内容重复的帧。该方法进一步采用强调多样性的排序方式，尽量覆盖不同时间点、场景或动作状态，使入选画面具有互补信息。
• 采用多分辨率打包。 被选中的帧并非全部以同样大小编码。部分关键画面可以保留更高分辨率，其他画面则使用较低分辨率，从而在固定长度的上下文窗口内平衡细节与时间覆盖范围。
• 固定视觉预算。 无论原视频包含多少帧，最终输入都被压缩到预先设定的Token规模。这样，视频长度增加不会直接导致视觉上下文无限膨胀，内存成本也由固定预算控制。

这项工作的意义

FramePack-U的价值不在于提出一个更复杂的模型，而在于重新定义长视频输入的资源分配方式。传统关键帧提取和Token压缩虽然能够减少输入规模，但通常仍然保留随视频长度增长的趋势。FramePack-U则把问题转化为：在固定预算下，哪些画面最值得保留，以及每个画面应占用多少表示空间。

这种设计对长视频问答、流式视频分析和电影级内容理解具有潜在实用价值。它可以直接连接现有VLM，降低部署时重新训练的门槛，也便于在不同模型、参数规模和帧预算之间进行比较。素材显示，研究者在 LongVideoBench、MLVU 和 Video-MME 上进行了实验，并报告该方法在多类模型和预算设置下优于完整分辨率基线及若干既有帧筛选方案。

不过，固定预算并不等于信息无损。对依赖短暂动作、细小文字或精确时间顺序的问题，帧筛选可能遗漏关键证据；而文本相关性评分也意味着效果会受到问题表述质量影响。因此，FramePack-U更像是面向长视频推理的高效输入策略，而不是彻底替代高密度视频编码的万能方案。后续值得关注的方向包括更可靠的时序覆盖、对细粒度事件的保护，以及在不同视觉语言模型之间提升打包策略的稳定性。

来源：Hugging Face Daily Papers