WeMM-Video:面向音视频联合理解的开源多模态模型家族
腾讯团队发布 WeMM-Video,覆盖 2B 至 35B-A3B 多种规模,尝试将音频、视频、图像和文本理解整合到同一模型体系。论文称其旗舰版在多项音视频联合评测中取得开源领先表现,但摘要未提供具体分数。
阅读全文腾讯团队发布 WeMM-Video,覆盖 2B 至 35B-A3B 多种规模,尝试将音频、视频、图像和文本理解整合到同一模型体系。论文称其旗舰版在多项音视频联合评测中取得开源领先表现,但摘要未提供具体分数。
阅读全文Piccolo 提出一套由研究智能体参与的数据工程与递归自我改进流程,覆盖 0.8B 至 27B 多模态决策模型。其结果也提示,数据针对性和训练配方有时比模型规模或新旧更关键。
阅读全文Neuro-VL 以近百万例临床神经影像检查训练,试图同时完成异常诊断、定位、报告生成和序列检查比较。研究显示,它在多项评测中超过了通用模型与专用医学模型。
阅读全文一项受控研究重新审视多模态模型的视觉编码方式:视觉编码器不一定需要预训练,但模型仍需要专门的视觉处理容量。研究还发现,这部分能力可以更早地融入主干网络,而不必完全置于多模态融合之前。
阅读全文一项研究发现,视觉语言模型的隐藏偏好可以通过与目标无关的数字任务,从教师模型传递给学生模型。传递的不只是图像选择倾向,连解释时使用的词语和表达方式也可能受到影响。
阅读全文MAEP 提出一种无需训练的模态感知专家裁剪方法,分别评估专家对视觉和文本 token 的作用。实验显示,在裁剪约一半专家后,模型权重占用可显著下降,同时保持较有竞争力的多模态与文本任务表现。
阅读全文WeLM-Image 试图用统一架构处理文本生图、指令编辑和多参考图像合成,并针对消费级场景优化单 GPU 部署。其核心包括混合 Transformer、稀疏专家模块以及面向生成和编辑的数据与训练流程。
阅读全文Kev-Bio将临床测量问题转化为视觉查询,在超声图像中生成校准点的空间概率图。该方法试图减少人工放置卡尺带来的差异,并同时优化解剖标志点定位与临床测量结果。
阅读全文SIMIT提出一种测试时自我改进方法:视觉语言模型在回答真实问题前,先围绕目标查询生成带图练习题,并利用这些数据进行上下文学习或微调。该方法不依赖人工标注或外部模型,已在17个基准上进行评估。
阅读全文Youtu-Parsing-Omni 是一款 5B 参数的全模态解析模型,尝试用统一编码器和统一 JSON Schema 处理文档、图像、音频及视频。它不仅提取文字和布局,还能对时间、空间及跨模态证据进行结构化表达。
阅读全文EmbeddingGemma 2 是一款面向文本、图像、音频、视频及其组合输入的开放式多模态嵌入模型。报告称,它在多模态嵌入基准上取得新的帕累托前沿,同时通过模块化加载和可调配置适应资源受限场景。
阅读全文腾讯团队发布 WeVisOne-VL,尝试在同一个视觉语言模型中统一目标检测、定位、计数、OCR、分割与抠图等能力。它通过结构化 next-token prediction,将用户所需的点、框、掩码乃至透明度图纳入同一套交互式感知框架。
阅读全文斯坦福团队提出Halcyon,完全从零开始在100M图文对上训练早期融合多模态自回归模型。实验显示,互联网规模的纯文本语言预训练并非获得强大文生图能力的必要条件。
阅读全文OpenVLHarness 为多模态模型提供统一的工具调用层和持久化多模态记忆,使模型能够结合视觉感知、网页搜索与 Python 计算完成复杂推理。研究显示,在 22 个基准测试中,工具增强方案相较无工具基线取得了显著提升。
阅读全文一项新研究发现,图像生成训练确实能把部分新知识迁移到语言问答中,但这种迁移并不稳定。通过文本对齐和图文交错对齐,模型对视觉知识的语言访问能力还能进一步提升。
阅读全文MJev-Spatial 将空间问答、数值估计和图像指向统一为候选分类任务,借助预训练注意力投影完成直接匹配。模型无需生成答案 token,在保持多类空间理解能力的同时提升推理效率。
阅读全文Swiss AI Initiative 发布 Apertus 1.5,将此前的开放文本模型扩展为支持图像和音频理解的多模态推理模型。它在保持语言模型主体架构不变的同时,把能力扩展、长上下文和推理训练结合起来。
阅读全文何恺明团队提出视觉原生Harness框架VISTA,不改动基础模型,而是为智能体保存完整画面,并提供按需回看、裁剪和对比工具。实验显示,这种机制可提升模型在交互式视觉推理任务中的表现。
阅读全文Cloudflare 围绕 Clef 决策模型一次发布三项更新:支持多模态输入的 Clef-omni、更便宜的 Clef-flash,以及速度更快的 Clef。其重点并非单纯扩展模型能力,而是同时改善决策模型的输入范围、成本与延迟。
阅读全文FMEE提出一种无需修改模型参数的持续学习框架,让冻结的语言模型和视觉语言模型通过技能、知识记忆与多模态案例库积累部署经验。该方法重点解决医疗场景中的知识更新、视觉信息保留和在线验证问题。
阅读全文