OpenTumorBoard、がん多職種チームにおけるAIの推論力を評価

導入

腫瘍ボードで行われる多職種カンファレンスは、単発の医学質問に答える作業ではありません。画像、病理、治療歴、患者の経過、手術の可能性などを複数の専門家が持ち寄り、意見を補い合ったり、時には対立を整理したりしながら、最終的な方針を決めます。OpenTumorBoardは、この一連の議論の軌跡を大規模言語モデルの評価対象にしています。

収録内容と評価設定

研究チームは、YouTubeで公開されている219回の腫瘍ボード会議を文字起こししました。データには611症例、19,157件の議論ターン、10種類の専門職の発言が含まれます。記録の総時間は12,534分で、会議中に専門家へ投げかけられた質問は16,215件です。データセット、ランキング、コード、自動キュレーション用の仕組みも公開される予定です。

評価は次の2種類に分かれます。

• SPECIALIST TURN：実際の会議で専門家に出された臨床的に重要な質問へ回答する。
• BOARD SIMULATION：症例の要約とスライドを基に、複数ターンの議論を再現し、治療、手術、次の行動、臨床試験への適合などの結論に到達する。

結果が示す課題

14の汎用フロンティアモデルおよび医療モデルを評価した結果、最も良いモデルでも専門家回答との臨床的同等性は5点満点中3.43点でした。実際の腫瘍ボードが記録した結論との一致度は2.78点にとどまっています。これは、モデルが個々の医学情報を拾えても、専門領域ごとの見解をどう統合し、相違をどう処理して合意へ進むかを安定して再現できていないことを示します。

単発の医療QAで自然な回答を生成できることと、長期的な病歴や複数の証拠を維持しながらチームで判断することは別の能力です。Board Simulationは、文章の流暢さではなく、役割を意識した継続的な推論と、実行可能な結論への収束を検証します。

また、教師ありファインチューニングと強化学習を行うと、留保テスト環境で性能が向上しました。実際の議論軌跡は、評価用データであるだけでなく、協調型の医療モデルを適応させる学習資源にもなり得ます。

意義と限界

3名の医学博士がデータの一部を確認し、症例情報の網羅性と事実性、抽出された合意内容の忠実度を高く評価しました。一方で、公開された会議がすべての医療機関や診療文化を代表するとは限りません。文字起こし、症例要約、合意の抽出も評価結果に影響します。

そのため、OpenTumorBoardは臨床判断を代替するシステムではなく、研究とストレステストのための基盤と捉えるべきです。その重要性は、評価の問いを「モデルは医学知識を知っているか」から「複雑な専門家チームに信頼できる形で参加できるか」へ広げた点にあります。

出典：Hugging Face Daily Papers