OCP-CT：臓器条件付きパターン token で CT 画像と言語を細かく対応付ける

導入

CT の視覚言語事前学習は、医療機関に蓄積された CT ボリュームと放射線レポートのペアを活用できる点で有望である。すべての症例に詳細な手作業ラベルを付けなくても、画像とテキストの対応関係から表現を学習できるからだ。一方で、CT は通常の画像よりも複雑だ。1 回の撮影には複数の臓器が含まれ、所見の種類も場所もばらつき、レポートはそれらを圧縮して記述する。

既存手法の多くは、スキャン全体とレポート全体を対応付けるグローバルな対比学習を採用してきた。この方法は拡張しやすいが、どの臓器のどの所見がテキストのどの表現に対応するのかを曖昧にしやすい。臓器単位で対応付けても、同じ臓器に複数の放射線学的パターンが現れるため、まだ粗い。

論文「Fine-Grained Vision-Language Pretraining with Organ-Conditioned Pattern Tokens for CT Understanding」が提案する OCP-CT は、この中間にある単位として「臓器条件付き放射線パターン」を導入する。スキャン全体でも単なる臓器でもなく、臓器ごとの具体的な画像所見パターンを画像と言語の整合単位にするという考え方だ。

主要ポイント

• グローバル対比分岐を維持：OCP-CT は従来の CT-レポート全体の対比学習を捨てず、安定した全体意味の対応付けとして残している。
• 臓器パターンインターフェースを追加：画像 token とテキスト token を、潜在的な放射線パターンに基づいて整理する細粒度モジュールを導入する。
• 疎な MoE によるルーティング：Sparse Mixture-of-Experts が token を潜在パターンに応じて経路分けし、異なる所見が単一の表現に混ざりすぎることを抑える。
• 学習可能な slot で pattern token を生成：ルーティング後の token から slot が情報を問い合わせ、画像側とテキスト側の連続的な pattern token を形成する。
• ペア token 対比で整合：レポート由来の臨床的類似性から構成したソフトターゲットを用い、画像と言語の pattern token を対応付ける。

報告された性能

論文は、公開ベンチマークである CT-RATE と RAD-ChestCT において、ゼロショット異常診断を評価している。要旨によれば、OCP-CT の平均 AUROC はそれぞれ 84.5% と 69.9% に達した。著者らが比較対象とする最も強い既報結果に対し、絶対値で 6.7 ポイントおよび 0.8 ポイントの AUROC 向上だとされる。

ゼロショット性能は、医療画像では特に重要である。施設やデータセットによってラベル体系、レポートの書き方、異常所見の粒度が異なるため、固定ラベルだけに適応したモデルでは汎化が難しい。画像とレポートの構造的対応をより細かく学ぶことは、この問題への一つの解になる可能性がある。

意義と影響

OCP-CT が示しているのは、医療マルチモーダル AI ではデータ量だけでなく、何を対応付けの単位にするかが重要だという点である。全体スキャンとレポートの対応は有用だが、CT 読影は本質的に臓器、所見パターン、臨床的文脈の組み合わせで成り立つ。臓器条件付きパターンを明示的に扱うことは、より読影プロセスに近い表現学習につながり得る。

ただし、この研究は arXiv のプレプリントであり、結果の独立再現やより広い臨床タスクでの検証は今後の課題である。それでも、グローバルな安定性と細粒度なパターン整合を組み合わせる方向性は、CT 基盤モデルの発展にとって注目すべき一歩だ。

出典：arXiv