凍結モデルを進化させるFMEE、医療AIが運用経験から学ぶ仕組み

導入

医療AIは、実運用に入るとモデルを固定したまま使われることが多くあります。しかし、臨床研究の結果や診療ガイドライン、治療法は更新され続けます。再学習やファインチューニングなら知識を更新できますが、モデルの重みへのアクセス、追加データ、訓練環境が必要です。一方、パラメータを変更しない手法は導入しやすいものの、固定された検証セットへの過適合、信頼性の低い知識、画像情報の欠落といった問題を抱えます。

論文「Frozen Models, Evolving Expertise」は、凍結されたLLMやVLMに運用経験を与える FMEE（Frozen Models, Evolving Expertise） を提案しています。

主要な仕組み

• 重みではなく外部専門知識を更新する。 FMEEは基盤モデル自体を変更せず、複数の外部リソースを更新します。そのため、オープンウェイトモデルとクローズドソースモデルの双方に適用できる設計です。
• Skillが手順を担う。 Skillは、推論の進め方やツールの使い方を自然言語で記述した手順です。ケースのバッチを処理した後、結果に応じて手順を書き換えます。
• Knowledge Memoryが事実を保存する。 過去のケースやPubMedのような信頼できる情報源に支えられた、再利用可能な知識を格納します。単に過去の回答を保存するだけではありません。
• MMKBが視覚経験を残す。 マルチモーダル知識ベースには、出典となる回答付きの画像事例を保存します。検索された事例を現在の画像と比較するようモデルを誘導し、視覚的な関係を維持します。
• 過去と新規の両方で更新を検証する。 評価済みの実行履歴からオプティマイザーが更新案を作成し、新しいケースで改善しながら過去のケースで悪化しない場合だけ採用します。

意義と限界

評価は、臨床診断、臨床ワークフロー、医学推論、医学および非医学の視覚推論を含む6つのベンチマークで行われ、4種類のオープンウェイトまたはクローズドソースの基盤モデルが使われています。論文の概要によれば、医療タスクでは基盤モデルに対して最大34.2%の性能向上が示されました。

FMEEの意義は、再学習と固定的なプロンプトの中間にある運用設計を示した点にあります。モデルのパラメータは固定したまま、推論手順、根拠付き事実、画像事例の層を更新します。知識や参照事例の出典を保持できれば、運用時の追跡可能性にもつながります。

ただし、記憶の品質、検索ミス、誤った知識の蓄積、検証基準の不十分さは依然として重要なリスクです。新旧ケースによる検証は性能低下を抑える仕組みですが、臨床専門家による確認や安全性評価の代わりにはなりません。FMEEは、凍結モデルそのものを自己訓練する手法というより、蓄積経験へのアクセスを制御するシステムフレームワークと捉えるのが適切です。

出典：Hugging Face Daily Papers