V-CoLA:面向线性注意力的视觉Token压缩方法
视觉Token往往占据视觉语言模型输入序列的大部分,成为推理成本的重要来源。V-CoLA针对线性注意力架构提出无需训练的压缩方案,在减少Token数量的同时尽量保持模型性能。
阅读全文视觉Token往往占据视觉语言模型输入序列的大部分,成为推理成本的重要来源。V-CoLA针对线性注意力架构提出无需训练的压缩方案,在减少Token数量的同时尽量保持模型性能。
阅读全文OneSearch-VL提出视觉 grounding 证据图,将单图、多图和视频研究中的视觉定位、外部检索与事实组合连接起来。基于这一框架,研究团队构建了训练数据、强化学习奖励和面向操作的评测基准。
阅读全文OmniConfess 提出一种无需重新训练的推理时方法,通过逐 token 干预不同证据通道,识别多模态模型答案背后的依据,并据此修正幻觉。
阅读全文Kandinsky 6.0 Video 是一组面向文本或图像输入的音视频生成模型,可输出带有同步 44 kHz 音频和唇形匹配的 5 秒视频。其核心是连接视频与音频生成流的双流 CrossDiT 架构,并以开源方式发布代码、权重和 Diffusers 集成。
阅读全文HUST Vision Lab 提出 Multimodal Flow,尝试用统一的连续流模型同时处理语言和图像。该方法以连续超块替代离散视觉令牌,并在匹配数据与参数规模下展现出竞争力。
阅读全文ReImaGin提出将图像生成模型接入多模态大语言模型,把视觉内容的生成与变换纳入推理过程。摘要显示,该方法在六类视觉推理任务中优于文本推理和专用视觉工具基线,最高提升达25%。
阅读全文伯克利团队提出OmniTaskonomy,系统研究图像到图像生成任务能否提升图像到文本理解能力。研究显示,生成监督确实可以迁移到理解任务,但收益取决于任务之间的对应关系与梯度协同性。
阅读全文SentZero提出一种以句子为中心的视觉语言预训练框架,针对胸部X光报告中的语义复杂、正样本多样性不足和对比学习误判负样本等问题进行改进。其目标是在无需任务专门微调的情况下,提升多任务零样本分析能力。
阅读全文VQS 将图像解析、问题生成与答案计算拆开,用结构化记录和固定程序替代不稳定的多数投票。该方法在人工评估中将答案正确率提升至 94%,并持续改善 Qwen3-VL 的多项基准表现。
阅读全文腾讯混元团队比较了有视觉编码器与无视觉编码器的多模态大模型,发现后者虽在小规模训练中落后,但随着算力增长可能逐步追平。研究还揭示,语言模型能够通过结构适配接管部分视觉编码工作。
阅读全文AV-GRPO 针对联合音视频生成中的模态奖励纠缠、训练成本高和同步评估困难,提出一种以模态为锚点的在线扩散强化学习框架。配套的 5DAV 数据集则从五个维度拆解训练难度。
阅读全文PrismML在高通骁龙峰会上展示了面向智能眼镜的1比特 Bonsai 语言模型。该模型约20亿参数,支持在设备本地处理视觉与语言任务,但目前尚未有搭载它的眼镜产品公布。
阅读全文Google DeepMind推出带Live Avatar的Gemini 3.8 Live,将实时语音对话与低延迟视频生成结合。该功能支持异步工具调用、97种语言切换及企业定制头像。
阅读全文Ovis-Embedding提出了一套原生全模态嵌入方案,尝试用共享多模态骨干统一处理文本、图像、视频和音频。其重点不只是扩大模态覆盖范围,还包括数据组织、困难样本学习和可变维度推理优化。
阅读全文Realtime-Venus 提出了一套面向实时交互的全双工系统,将持续感知、对话控制、原生语音生成和异步任务委托整合到同一条因果时间线上。系统由两个分别训练的 9B 模型组成,分别服务于音视频交互与纯语音交互。
阅读全文SpatialBlock提出一种受人类空间认知启发的训练路径:先让视觉语言模型学习合成的积木堆叠任务,再迁移到真实场景空间推理。其核心数据集SpatialBlock-15k覆盖三维投影、视角变化和结构组合,并通过颜色线索引导模型建立空间锚点。
阅读全文CARDEA 将视觉语言模型引入冠状动脉造影解读,并通过 Chain-of-Box 让模型在推理过程中标注所依据的影像区域。研究显示,强化学习不仅提升了部分诊断能力,也改善了模型零样本生成报告的表现。
阅读全文SenseNova-U1.5 是一款 8B 参数的原生统一多模态模型,尝试在不依赖视觉编码器和 VAE 的前提下完成视觉理解、推理与生成。论文显示,它重点改善了图像保真度、文字渲染、复杂构图和多参考编辑能力。
阅读全文北京大学团队提出 Motion-Omni,将语音对话与面部表情、手部及全身动作放进同一个端到端生成框架。该模型在保持语音能力的同时,实现了接近教师级联系统的动作质量,并具备实时响应能力。
阅读全文DreamX-Creator 1.0以7B模型为核心,在同一生成过程中联合建模画面与声音,并通过2K单步精炼提升高分辨率输出效率。项目同时公开生成器与精炼器,试图降低原生音视频生成的使用门槛。
阅读全文JoyAI-Echo-1.5将长视频生成与交互式世界模型整合到统一的音视频系统中,重点解决角色身份、声音连续性和长期交互稳定性问题。
阅读全文