OpenAIが公開したMedChemBenchは、AIモデルが薬物化学の研究で必要となる推論をどこまで行えるか測るベンチマークだ。分子構造と実験データを結びつけ、化合物の挙動を説明し、次に何を試すべきか考えられるかを問う。問題は論文・特許に由来する99問で、117件の資料と761種類の分子構造を扱う。評価対象は既存研究の証拠を読み解く力であり、AIが新薬を発見できるかを直接検証するものではない。
評価する4つの能力
- 分子構造の再構築:化学構造図などから原子のつながりや立体化学を正しく表現できるか。
- 科学的推論:提示された根拠に基づき、結果や化合物選択の理由を説明できるか。
- 順位付けと選択:研究目的に沿って候補化合物を選び、並べられるか。
- 物性予測:報告済みの数値や分類とどの程度一致するか。
薬物化学では、ある特性を改善すると別の特性が悪化することがある。標的への作用が強くても、吸収や細胞膜の透過性が高いとは限らず、体内で分解されやすい可能性もある。例題ではPRMT5阻害剤を対象に、細胞内での活性、細胞バリアの通過しやすさ、肝酵素による分解をあわせて予測させる。後の実験では、化合物ごとに優れた指標が異なった。単一の数値ではなく、複数のトレードオフを読み取ることが問われる。
得意分野と残る課題
OpenAIによると、GPT-6 Astraは構造再構築で配点の95.4%を獲得した。18原子の環を保つ必要がある例題では、10回の回答すべてで正しく構造を復元したという。一方、化合物の選択と数値物性の予測は難しく、獲得点はおよそ半分にとどまった。GPT-5.6 Solの総合点は58.2%と報告されている。
ただし、Astraの総合点にはページ内の不一致がある。冒頭ではGPT-6.2 Astraが84.5%とされる一方、本文は共通のxhigh設定でGPT-6 Astraが83.3%と記載する。異なるモデル版や条件の差なのか、説明だけでは判然としないため、単純な同一条件の比較として扱うべきではない。
意義と限界
MedChemBenchの意義は、「AIは薬物化学を理解するか」という広い問いを、確認可能な複数の作業に分解した点にある。分子を正確に読み取る能力と、次の候補を選ぶ能力には差があることも示された。しかし、素材は公表済み研究に基づき、モデルが元資料を事前に学習していた可能性は排除できない。各回答は単発で、ツールやフィードバック、新たな実験もない。したがって高得点だけで、研究室の判断を任せられることや創薬を加速できることが証明されたわけではない。現時点では、限定された推論課題における進歩を測る指標として読むのが妥当だ。
コメント
ログイン状態を確認中…
コメントを読み込み中…