TCAM-Diff：三平面表現で3D医用画像生成のメモリ負荷を下げる拡散モデル

導入

3D 医用画像の生成は、2D 画像生成よりもはるかに重い計算課題になりやすい。CT や MRI のような体積データでは、解像度が上がるほど扱うボクセル数が急増し、メモリ使用量も大きく膨らむ。arXiv 論文「TCAM-Diff: Triplane-Aware Cross-Attention Medical Diffusion Model」は、この問題に対し、密な 3D ボリュームを直接生成するのではなく、三平面表現を介して拡散モデルを適用する手法を提案している。

主要ポイント

• 3D 情報を三平面表現へ変換：TCAM-Diff は dense volume から triplane representation を学習する。三平面表現は、3D 構造を複数の 2D 的な特徴平面に分解して保持する考え方で、体積データをそのまま扱う場合に比べてメモリ効率を高めやすい。

• decoder-only autoencoder を採用：論文では、通常のエンコーダ・デコーダ型とは異なる decoder-only autoencoder によって三平面特徴を学習すると説明している。また、過学習を抑えるための generalization operations も用いられる。

• 三平面を意識したクロスアテンション拡散：生成段階では、triplane-aware cross-attention diffusion model が使われる。単に潜在表現を生成するのではなく、三つの平面にまたがる情報を学習・統合することが狙いだ。

• デコーダで 3D ボリュームへ復元：拡散モデルが生成した特徴は、事前学習済みのデコーダモジュールによって 3D ボリュームへ変換される。これにより、重い 3D 生成処理をよりコンパクトな特徴空間側へ移す設計になっている。

• 複数スケールのデータで評価：実験は BrainTumour 128×128×128、Pancreas 256×256×256、Colon 512×512×512 で行われた。再構成品質には MSE と SSIM、生成品質には W-GAN critic が使われている。

意義と影響

TCAM-Diff の重要性は、高解像度 3D 医用画像生成における「表現の設計」にある。巨大な体積データをそのまま生成するのではなく、デコード可能な三平面特徴を拡散モデルで扱うことで、限られた計算資源でも高解像度データに近づける可能性を示している。

一方で、医療応用には慎重な検証が必要だ。論文が示すのは、同程度の latent space を持つ既存のエンコーダ・デコーダ手法に対する再構成・生成品質の改善であり、臨床的な有用性を直接保証するものではない。病変の妥当性、解剖学的整合性、プライバシー、バイアス、下流タスクでの有効性などは、今後さらに確認されるべき論点である。それでも TCAM-Diff は、3D 医用画像生成をよりスケーラブルにする方向の有力な技術提案といえる。

出典：arXiv