BioEVAL：一套面向生物工程实验推理的多模态模型基准

导语

大语言模型进入生物医学领域后，常见评测仍主要围绕事实问答、知识记忆和标准化考试展开。这类测试能够衡量模型“知道什么”，却不一定能回答它是否理解实验设计、能否综合分散文献，或能不能从实验图像中提取有效线索。arXiv 论文介绍的 BioEVAL，正是针对这一缺口建立的一套生物工程领域基准。

核心要点

• 覆盖面更广。 BioEVAL 涵盖 11 个主要生物工程子领域，并由 22 个研究团队共同建设，定位为博士阶段难度的评测集合。
• 任务类型更接近研究流程。 基准包含 380 道选择题，经过审核后保留 359 道；另有 218 项文献综合任务，以及 10 项需要解读实验图像的多模态问题。
• 设置了额外质量审查。 题目先经过出题团队专家审阅和集中质控。模型评测完成后，研究者又对准确率最高和最低的选择题开展盲审，发现 21 道题需要修改或移除，并将其排除在最终结果之外。
• 同时考察云端和本地模型。 研究评估了 ChatGPT、Gemini、Grok 等云端基础模型或多模态模型，也纳入了适合消费级 GPU 推理的本地部署模型。
• 结果并非单一维度领先。 模型在保留选择题上的最高准确率达到 90%，文献综合相似度最高为 0.72，多模态问题准确率最高为 80%。不过，多模态样本数量较少，且不同生物工程子领域之间存在显著差异。

这项工作意味着什么

BioEVAL 的价值不只在于提供一个排行榜。它把“回答生物学问题”拆解为多个更接近科研实践的环节：识别专业概念、组织跨论文证据、理解实验结果，并在一定程度上处理视觉信息。这样的设计有助于揭示模型在知识丰富但边界复杂的科学领域中，究竟是推理能力不足，还是仅仅依赖熟悉的表述和训练语料。

值得注意的是，90% 的选择题成绩不能直接等同于模型具备可靠的实验设计能力。首先，选择题与真实实验决策之间仍有距离；其次，文献综合使用的是相似度指标，未必完全覆盖事实准确性、证据权重和因果判断；再次，图像任务只有 10 项，80% 的结果更适合作为早期信号，而不是稳定结论。因此，使用 BioEVAL 结果比较模型时，应同时关注任务类型、子领域分布和题目质量。

从模型开发角度看，这套基准提供了更清晰的改进方向：模型需要减少跨领域迁移时的性能波动，提升对实验上下文和图像证据的理解，并让文献综合从表面相似转向可核验、可追溯的科学论证。BioEVAL 还计划按照标准化流程持续接收专家贡献和模型评测。如果后续样本规模与任务多样性继续扩大，它可能成为衡量 AI 是否真正接近生物工程科研助手的重要工具。

arXiv