Youtu-Parsing-Omni：用一个编码器解析文档、图像、音频与视频

导语

文档解析、图像理解、语音识别和视频分析通常由不同模型分别完成，结果格式也各不相同。Youtu-Parsing-Omni 提出了一条更集中的路线：用一个编码器处理所有输入，用一个统一 Schema 输出结构化记录。该模型面向文档页面、自然图像、图表、流程图、几何图形、音频以及自然视频和富文本视频等场景，目标是为能够检索、定位并引用证据的智能体提供感知层。

核心设计

• 统一的全模态编码器：Youtu-Omni-Encoder 从预训练语言模型初始化，以增强文本读取能力，同时使用共享权重编码图像、音频和视频。不同模态被放入统一的空间—时间坐标体系，便于保留位置、时间戳及跨模态关系。
• 面向视频的跨模态融合：视频帧可以关注同时段的音频信息，使画面、语音和声学事件在感知阶段完成对齐，而不是等到生成文本后再做简单拼接。
• 统一输出结构：OmniSchema 把版面元素、边界框、文字、LaTeX、表格、图表、流程、OCR、ASR、说话人、声学事件、动作和镜头运动等内容放进同一个 JSON 封装中。模型也能生成描述、报告和叙事等更高层输出。
• 自演化训练机制：论文提出 OmniSchema-Aware On-Policy Distillation（OSAD）。模型根据自身 rollout 生成样本，再由参考副本提供 token 级目标；训练完成后，参考副本随模型权重刷新，让解析器与监督信号共同迭代。

结果与意义

公开结果显示，单个 5B 检查点在 OmniDocBench v1.6 上取得 96.96 的 Overall 分数，在 OmniParsingBench 上达到 75.08 的平均分，并成为该评测中表现领先的开放权重模型之一。其优势主要集中在音频和视频场景；在图表解析上，模型取得 95.02 的整体分数，在化学结构指纹一致性比较中也达到最高水平。

这项工作的价值不只是把多种输入放进同一模型，而是试图统一“证据如何被表示”。对于智能体而言，带有边界框、时间戳、阅读顺序和说话人信息的结构化结果，比一段缺少定位信息的自然语言描述更便于检索、引用和后续推理。统一 Schema 还有助于减少多模型部署中的格式转换成本，并让后处理、评测和训练目标更容易共享。

当然，统一架构并不意味着所有任务都已被同等解决。模型的实际效果仍取决于输入质量、任务提示和部署配置，跨模态时间对齐、复杂图形关系及长视频信息压缩也仍是需要持续验证的环节。总体来看，Youtu-Parsing-Omni 展示了从“分别识别不同模态”走向“用统一结构组织多模态证据”的一种可行方向。

来源：Hugging Face Daily Papers