VideoJev:把视频理解改造成可复用的决策接口
VideoJev将视频时序定位与选择题式问答统一为结构化评分任务,并通过缓存推理和联合推理降低重复计算。该模型旨在让视觉智能体更快地依据视频历史作出下一步判断。
阅读全文Open-o3-Video-v2:让视频推理主动寻找并验证证据
北京大学团队发布 Open-o3-Video-v2,将视频问答从固定帧分析推进到主动检索、时空定位与证据驱动推理。模型不仅给出答案,还会记录支撑结论的时间点和目标区域。
阅读全文长视频理解的“冰箱大象”:FramePack-U如何用固定内存打包帧
FramePack-U提出一种无需训练的长视频帧压缩方案,将任意长度视频压缩到固定大小的视觉表示中。它结合文本相关性、多样性排序与多分辨率打包,试图突破视频理解中随时长增长的内存瓶颈。
阅读全文QuadTok:用四叉树重构图像自回归生成的视觉分词方式
QuadTok提出一种基于层次化四叉树的视觉Tokenizer,让图像中复杂区域获得更多表示容量,同时以更粗粒度编码平坦区域。该结构还为自回归图像生成提供了天然的空间组织方式。
阅读全文FrameMorrow:让视频生成模型提前思考该记住什么
长视频生成的关键难题不只是“记忆更多”,还包括从不断增长的历史中选出未来真正需要的信息。FrameMorrow通过预测未来信息需求,再反向筛选历史帧,为多种视频生成器提供了一种即插即用的记忆选择方案。
阅读全文OneStreamer:让流式视频模型边看边记,并在恰当时机响应
OneStreamer 是一个 4B 流式视频模型,试图同时解决视频理解中的实时感知、长期记忆与主动响应问题。它通过生成带时间信息的字幕和事件摘要,把已经离开视觉窗口的内容保存为可复用的事实记忆。
阅读全文连续视频流上的自监督学习,为何比打乱图片更难?
一项研究重新审视了自监督视觉预训练的数据输入方式:当模型只能按时间顺序观看连续视频时,传统方法会明显退化。研究者据此提出 StreamMAE,通过流感知正则化和运动偏置裁剪改善训练效果。
阅读全文VideoPhysEdit:让视频编辑预测“改动之后会发生什么”
VideoPhysEdit 将视频编辑从外观修改推进到物理反事实生成:先重建能复现原始运动的刚体场景,再模拟干预后的轨迹并指导视频生成。
阅读全文FlashForward:用在途 KV 缓存加速长视频扩散生成
Meta 研究团队提出 FlashForward,通过复用视频扩散过程已经产生的在途 KV 缓存,减少专门用于更新缓存的额外前向计算。它进一步引入稀疏的干净锚点,在提升并行效率的同时缓解长视频中的外观与运动漂移。
阅读全文视频扩散模型为何不懂物理?问题可能藏在注意力机制里
一项针对文本生成视频模型的可解释性研究发现,早期去噪阶段的注意力机制会过早锁定运动区域。研究者据此提出按去噪步骤调整 RoPE 频率的方法,以改善生成视频的物理连贯性。
阅读全文Vidu S2:从实时数字人到可编辑空间视频
Vidu S2 将实时交互数字人、视频流编辑与空间视频生成整合到同一技术框架中。其重点不只是提高生成分辨率,而是让模型能够在视频进行过程中持续响应指令和参考内容变化。
阅读全文ShallowStream:先浅层建索引,再深层理解连续视频
ShallowStream 将多模态大模型的浅层计算用于持续视频编码和检索索引构建,查询时再调用深层能力完成回答。在保持接近现有流式方法效果的同时,论文报告其单帧预填充延迟最高降低 52.1 倍,10 秒端到端延迟最高降低 11.9 倍。
阅读全文视频生成对齐与蒸馏不必二选一:DM-Align尝试单阶段优化
一项发表于 arXiv 的研究提出 DM-Align,将视频生成模型的分布蒸馏与人类偏好对齐放进同一优化框架。该方法借鉴 DPO 与 GRPO,从样本分布差异中直接构造偏好梯度,以降低传统强化学习流程的计算与稳定性成本。
阅读全文长视频视觉Token怎么分配?研究发现,挑帧比压缩更重要
一项受控研究拆开考察了长视频多模态大模型中的选帧、空间压缩与预算再投资。结果显示,选对帧带来的收益最大,而压缩真正有效的前提,是把省下的Token换成更多观察时刻。
阅读全文Gemini推出Agentic Video Understanding:让模型自己决定“看哪里”
Google DeepMind为Gemini引入Agentic Video Understanding,使模型能够动态搜索视频片段,并按需调用画面、音频和字幕信息。官方称,该能力在部分基准上可将Token消耗降低最多88%,成本降低最多66%,准确率提升最多7%。
阅读全文Luce:让单张图片生成的 3D 资产真正支持重光照
Luce 提出一种融合几何与 PBR 材质的多模态 Gaussian 表示,并通过统一的材质感知潜空间,从单张图片生成可重光照的 3D 资产。该方法在 Toys4K 上取得了优于现有基线的结果,并能输出可选的纹理网格。
阅读全文高德开源ABot-Recon:只看12帧,流式重建万帧3D场景
高德发布流式3D重建模型ABot-Recon,以连续12帧局部画面为上下文,尝试解决长序列重建中的误差累积、速度下降和显存膨胀问题。官方称,该模型已在多个公开数据集上取得较优结果,并开放代码、权重和体验入口。
阅读全文Gemini Omni 1.1 Flash:生成式视频进入可控迭代阶段
Google DeepMind 发布 Gemini Omni 1.1 Flash,新增场景延展、首尾帧控制、360p 快速预览和最高 4K 输出等能力,重点提升生成式视频的可控性与生产效率。
阅读全文SparsePR:用“分区+残差重建”加速视频生成注意力
SparsePR提出一种无需再训练的稀疏注意力方案,通过响应耦合分区和探针拟合残差重建,降低视频Transformer的注意力计算成本。在四个视频生成与世界模型上,该方法以22.0%至26.0%的实际执行密度实现质量保持,并取得1.48至2.61倍端到端加速。
阅读全文InfinityEdit:让视频编辑从固定片段走向无限流式生成
InfinityEdit 面向持续到来的视频流,尝试让模型在每个新片段中执行编辑指令,同时保持画面的时间连续性。它通过轻量级适配器连接历史帧、时间因果关系与编辑文本,为开放式视频编辑提供了一种新路径。
阅读全文