TCAM-Diff：用三平面表示降低高分辨率3D医学影像生成成本

导语

3D 医学影像生成一直面临一个现实瓶颈：数据是体素级的，分辨率越高，显存和计算开销越容易迅速膨胀。arXiv 论文《TCAM-Diff: Triplane-Aware Cross-Attention Medical Diffusion Model》提出的 TCAM-Diff，试图用“三平面表示”来绕开直接处理完整稠密体数据的高成本问题，并将这一表示与扩散模型结合，用于高分辨率 3D 医学图像的重建与生成。

核心要点

• 以三平面表示压缩 3D 信息：TCAM-Diff 不直接在完整三维体数据上进行高负担建模，而是通过 decoder-only autoencoder 从 dense volume 中学习 triplane representation。三平面思路可将三维结构拆解到多个二维特征平面中，在保留空间信息的同时降低内存压力。

• 采用 decoder-only autoencoder：论文强调该方法用预训练解码器把生成出的特征快速转换回 3D volume。这意味着扩散模型主要学习更紧凑的三平面特征，而不是从头在原始体素空间里生成完整体数据。

• 引入 triplane-aware cross-attention diffusion：模型并非简单把三平面特征当作普通 latent，而是使用面向三平面结构的跨注意力扩散模块来学习和整合不同平面之间的信息，以提升对 3D 结构的表达能力。

• 面向不同规模数据集验证：实验覆盖 BrainTumour 128×128×128、Pancreas 256×256×256、Colon 512×512×512 三种分辨率设置。评价上，论文使用 MSE 和 SSIM 衡量重建质量，并借助 W-GAN critic 评估生成质量。

意义与影响

TCAM-Diff 的价值在于，它把 3D 医学影像生成的重点从“直接生成庞大的三维体素”转向“学习可解码的紧凑三平面特征”。对于医学场景而言，这类方法可能帮助研究者在有限显存条件下处理更高分辨率数据，也为合成训练样本、数据增强和医学影像建模提供新的工程路径。

不过，从摘要信息看，论文主要报告了相对现有同等潜空间规模编码器-解码器方法的重建与生成优势。医学影像生成能否进入临床相关流程，还需要更严格的外部验证、病灶真实性评估、隐私与偏差分析，以及与具体下游任务的结合验证。TCAM-Diff 更适合作为高分辨率 3D 医学生成模型在表示学习和内存效率方向上的一次技术推进。

来源：arXiv