Apertus 1.5：从开放文本模型走向开放多模态推理

导语

大型语言模型正逐渐成为数字基础设施。Apertus 1.5 的重点不只是“增加图像和音频输入”，而是尝试证明：由公共机构推动、使用有文档记录的数据、并以开放方式发布的模型，也能在较大规模上进入多模态推理阶段。该系列由 Swiss AI Initiative 相关团队发布，技术报告长达 134 页，公开介绍了数据配比、训练流程和消融实验。

核心要点

• 从 Apertus 1.0 继续训练。 8B 模型增加约 4 万亿 token 的继续预训练数据，70B 模型增加约 2 万亿 token。模型因此从纯文本能力延伸至图像和音频理解，同时将上下文窗口扩大四倍，达到 262,144 个 token。
• 采用相对简洁的多模态接入方式。 多模态信息通过 tokenizer 进入模型，主体架构保持不变，也没有引入独立的视觉塔。语言模型头仍然只生成文本，这意味着它的定位是理解图像、音频并以文本回答，而不是直接生成视觉或语音内容。
• 推理能力不是独立模型。 在聊天模板中开启“thinking”标志即可调用相应推理行为，而不需要切换到另一个模型。报告称，8B 模型在数学推理上的表现最多提升 20 个百分点，但这一提升依赖具体评测设置，不能简单等同于所有任务都会获得同幅度改进。
• 完整的后训练链路。 发布模型经过监督微调、长上下文微调、基于可验证奖励的强化学习以及偏好对齐。这套流程覆盖了指令执行、长文档处理、可检查答案和交互风格等不同目标。
• 多模态表现有明显边界。 在图像和音频理解方面，Apertus 1.5 已能与同类完全开放多模态模型竞争，尤其在文档理解、长篇内容处理和低资源语音识别上表现突出。不过，专门的视觉模型和音频模型在感知细节与转录任务上仍然领先。

意义与影响

Apertus 1.5 的价值首先在于开放性和可研究性。报告不仅公布模型，还强调训练数据组成、训练设置和消融结果，这为研究者复现、评估和继续训练提供了比单纯开放权重更完整的线索。对于需要数据来源、模型行为和部署边界可追溯的公共部门、教育机构及研究团队而言，这种透明度具有现实意义。

其次，它展示了一条成本和工程复杂度相对可控的扩展路线：不重做语言模型主体，而是通过 tokenizer、继续预训练和后训练把新的模态纳入已有模型。这样的设计有助于复用文本模型的能力，也让长上下文和多模态训练可以在同一体系中推进。

但“开放多模态”并不等于全面替代专用模型。Apertus 1.5 的强项主要集中在跨模态理解与文本推理，用户仍需根据视觉定位、精细识别、语音转录或实时应用等需求进行专项评测。更重要的是，基准成绩不能取代对训练数据、许可证、偏差和真实场景可靠性的审查。它真正释放的信号是：开放模型正在从“能否训练出来”转向“能否以透明、可验证的方式持续扩展”。

来源：Hugging Face Daily Papers