MMedAgent-Plus、18の専門モデルを連携させる医療マルチモーダルエージェント

導入

医療AIの実用的な利用では、一つの判定だけで処理が終わるとは限らない。画像を解析し、その結果を別の専門モデルへ渡し、複数の所見をまとめて質問に答える、といった段階的なワークフローが必要になる。単一の汎用モデルが画像や文章を扱えても、どの専門ツールをいつ使うかを安定して判断し、各ツールの出力を保ったまま統合できるとは限らない。

MMedAgent-Plusは、この調整能力を医療マルチモーダルエージェントとして設計した研究である。視覚言語プランナーを中心に、統一されたツールインターフェースで複数の専門モデルを接続する。プランナーはツールを選び、順番に実行し、中間結果を根拠として最終回答を作成する。

主なポイント

• 幅広い専門モデルを統合。 18の専門モデルが12種類の医療タスクと8つのモダリティをカバーする。対象にはCT、MRI、X線、超音波、眼底画像、網膜OCT、病理画像などが含まれる。
• ツール利用そのものを学習。 32の公開医療ベンチマークから208,928件の指示チューニング用サンプルを作成した。単一ツールと複数ツール、単一ラウンドと複数ラウンドのやり取りを含み、直接回答だけでなくワークフローの計画を学習する。
• 能力を分けて評価。 ツール呼び出し、ツール出力の統合、ツール結果を事前に与えないエンドツーエンド実行を個別に測定した。これにより、プランニングの失敗と専門モデルや最終回答の失敗を区別しやすくしている。
• 高いツール呼び出し精度。 単一ツール・複数ラウンドでは91.0%、複数ツール・複数ラウンドでは98.1%、複数ツール・単一ラウンドでは80.7%を達成した。7タスク、350件のエンドツーエンド評価では、必要な専門モデルを90.6%の割合で正しく呼び出した。
• 正しい出力を前提にした統合性能。 専門モデルの正しい出力が与えられた600サンプルでは、忠実性、完全性、簡潔性が15点満点で14.4〜14.8点だった。医療QAの評価では最終回答の正解率が0.98となったが、これはあらゆる臨床現場での診断性能を意味するものではない。

意義と限界

この研究の意義は、新しい単機能モデルを提案したことよりも、複数の専門モデルを一つの再利用可能な流れに組み込んだ点にある。各専門モデルの得意分野を保ちながら、エージェントがタスク分解、ルーティング、順序付け、根拠に基づく統合を担当する。医療AIの評価軸を、個別ベンチマークの最高スコアから、複数モデルを信頼できるシステムとして動かせるかへ広げる設計だ。

一方、結果の解釈には注意が必要である。統合性能の高い数値は、ツール出力がすでに正しいという条件に基づく。また、エンドツーエンド評価のタスク数と事例数にも限りがある。実運用では、専門モデル同士の矛盾、入力不備、呼び出し失敗、復旧方法、プライバシー、医療者が中間結果を追跡できるかといった問題を検証しなければならない。

MMedAgent-Plusは完成した臨床システムというより、医療AIを検証可能で組み合わせ可能なワークフローへ進める方向性を示している。専門モデルをプランナーが連携し、最終結論を識別可能なツール出力に結び付ける構成が、今後の重要な設計パターンになり得る。

出典：Hugging Face Daily Papers