用切片级推理补足3D医学多模态大模型短板

导语

医学多模态大模型已经在二维影像问答、报告理解等任务中展现潜力，但一旦进入CT、MRI这类三维体数据场景，问题就复杂得多。医生阅读一组体数据时，并不是只看某一张切片，而是沿着空间连续性观察病灶形态、位置变化和可能的伪影。arXiv 论文《Towards Enhancing 3D Spatial Reasoning in Medical Multimodal Large Language Models》试图回答一个关键问题：能否让以2D能力起步的多模态大模型，学会更接近放射科医生的3D空间推理？

核心要点

• 从结果问答转向过程推理：现有医学数据常见形式是固定的VQA对，或最终临床报告。这些格式能告诉模型“答案是什么”，却较少呈现“如何一步步判断”。论文认为，这正是3D医学理解难以提升的重要原因。

• 切片级数据合成范式：作者提出一种面向体数据的结构化推理数据构建方法。其思路是把整体临床先验拆解为细粒度的逐切片观察，再将这些观察组织成可解释的Chain-of-Thought。这样，模型不仅看到影像和答案，还能学习病灶在不同切片间的连续变化。

• 模拟放射科阅读流程：该合成框架强调三类临床原则：顺序空间追踪、多切片空间意识以降低伪影干扰，以及通过差异化排除进行判断。这些原则对应了真实阅片中“沿层面追踪—交叉验证—排除干扰”的过程。

• 用数据增强2D预训练模型：论文并未主张必须从头训练庞大的3D架构，而是用合成数据对标准2D预训练MLLM做指令微调。评估显示，这种数据中心策略能在多个3D医学基准上相较2D基线带来显著性能提升，并在空间推理上接近资源开销更高的原生3D模型。

意义与影响

这项工作的价值不只在于“提升分数”，更在于提出了一条更现实的医学AI扩展路线。3D医学影像标注成本高、隐私和数据开放限制多，如果完全依赖人工逐例写出复杂推理链，规模化会非常困难。通过切片级合成把隐含诊断逻辑显式化，可能降低构建训练数据的门槛。

当然，这并不等于模型已经能够独立承担临床诊断。合成推理数据的可靠性、不同设备和病种下的泛化能力、以及推理链是否真正反映临床因果判断，仍需要更严格验证。但从研究方向看，它提示医学多模态模型的发展重点正在从“看懂单张图”转向“理解体数据中的空间过程”。如果后续开源数据和训练流程能被充分复现，这类方法或许会成为连接2D视觉语言模型与3D医学影像应用的重要桥梁。

来源：arXiv