臨床LLMに暗算させない：プログラム解法の効果と限界

導入

臨床計算器は、患者の年齢、体重、検査値などからスコアやリスク分類を算出する。数式自体が複雑でなくても、途中の四則演算を一度誤れば、最終的な推奨が変わる可能性がある。言語モデルに自然言語のまま計算させる方法は、こうした用途では特に不安定だ。今回の研究は、モデルに計算そのものを任せず、症例に合わせたPythonコードを書かせ、制限されたローカル実行器に数値処理を委ねる方式を調べた。

主なポイント

• 理解と実行を分離する。 モデルは使用する式や入力値を判断し、コードを生成する。実際の算術処理は決定論的な実行器が担う。
• 比較条件をそろえている。 MedCalc-Bench Verifiedの1100症例と55種類の計算器を対象に、Qwen2.5-7BとQwen2.5-32B-AWQを評価した。直接計算とプログラム解法には、同じ数式、正解変数、全文ノートを与えている。
• 7Bでは優位性が確定しない。 プログラム解法は75.31%、直接計算は72.02%で、差は3.29ポイントだった。ただし計算器単位の95%区間は[-3.49, 10.38]で、安定した改善とは判断できない。
• 32Bでは改善が明確になる。 プログラム解法は90.53%、直接計算は83.47%で、7.05ポイント高かった。95%区間は[0.47, 14.60]で、ゼロを上回っている。
• 固定ライブラリにはカバレッジの制約がある。 22種類の手書きライブラリは対応する440症例では完全に正確だったが、それ以外では棄権し、全体では40.0%だった。
• 数式の妥当性も別問題である。 監査では55種類中16種類について、バージョン、使用条件、係数に懸念が指摘された。

意義と限界

この結果を「Pythonを追加すれば臨床LLMは信頼できる」と読むべきではない。実行器が減らせるのは、文章中でモデルが算術を取り違えるタイプの失敗だ。モデルは依然として、病歴から正しい変数を抽出し、適切な計算器を選び、単位や適用条件を理解しなければならない。入力が間違っていれば、決定論的な実行器は間違った問題を正確に計算するだけである。

また、同じ情報を与えても、ツールの恩恵はモデルによって異なった。7Bでは確かな改善が得られず、32Bでは改善が確認された。この差は、コード生成、タスク分解、ツールを使う判断の能力に関係する可能性があるが、研究結果だけでモデル規模を唯一の原因とは断定できない。

実運用では、臨床的に確認された数式の版管理、制限付き実行環境、単位と欠損値の検査、変数抽出の検証、そして不確かな場合の棄権を組み合わせる必要がある。決定論的な計算は重要だが、医療意思決定の信頼性を構成する一要素にすぎない。

出典：Hugging Face Daily Papers