記事一覧へ戻る

OpenAIのMedChemBench、AIの創薬化学推論を評価

読了目安 3 分

OpenAIが公開したMedChemBenchは、AIモデルが薬物化学の研究で必要となる推論をどこまで行えるか測るベンチマークだ。分子構造と実験データを結びつけ、化合物の挙動を説明し、次に何を試すべきか考えられるかを問う。問題は論文・特許に由来する99問で、117件の資料と761種類の分子構造を扱う。評価対象は既存研究の証拠を読み解く力であり、AIが新薬を発見できるかを直接検証するものではない。

評価する4つの能力

  • 分子構造の再構築:化学構造図などから原子のつながりや立体化学を正しく表現できるか。
  • 科学的推論:提示された根拠に基づき、結果や化合物選択の理由を説明できるか。
  • 順位付けと選択:研究目的に沿って候補化合物を選び、並べられるか。
  • 物性予測:報告済みの数値や分類とどの程度一致するか。

薬物化学では、ある特性を改善すると別の特性が悪化することがある。標的への作用が強くても、吸収や細胞膜の透過性が高いとは限らず、体内で分解されやすい可能性もある。例題ではPRMT5阻害剤を対象に、細胞内での活性、細胞バリアの通過しやすさ、肝酵素による分解をあわせて予測させる。後の実験では、化合物ごとに優れた指標が異なった。単一の数値ではなく、複数のトレードオフを読み取ることが問われる。

得意分野と残る課題

OpenAIによると、GPT-6 Astraは構造再構築で配点の95.4%を獲得した。18原子の環を保つ必要がある例題では、10回の回答すべてで正しく構造を復元したという。一方、化合物の選択と数値物性の予測は難しく、獲得点はおよそ半分にとどまった。GPT-5.6 Solの総合点は58.2%と報告されている。

ただし、Astraの総合点にはページ内の不一致がある。冒頭ではGPT-6.2 Astraが84.5%とされる一方、本文は共通のxhigh設定でGPT-6 Astraが83.3%と記載する。異なるモデル版や条件の差なのか、説明だけでは判然としないため、単純な同一条件の比較として扱うべきではない。

意義と限界

MedChemBenchの意義は、「AIは薬物化学を理解するか」という広い問いを、確認可能な複数の作業に分解した点にある。分子を正確に読み取る能力と、次の候補を選ぶ能力には差があることも示された。しかし、素材は公表済み研究に基づき、モデルが元資料を事前に学習していた可能性は排除できない。各回答は単発で、ツールやフィードバック、新たな実験もない。したがって高得点だけで、研究室の判断を任せられることや創薬を加速できることが証明されたわけではない。現時点では、限定された推論課題における進歩を測る指標として読むのが妥当だ。

Web Search

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
AltRA-Test:人間の注釈者をLLMで置き換えられるか検証
モデル評価
cctest.ai
モデル評価

AltRA-Test:人間の注釈者をLLMで置き換えられるか検証

AltRA-Testは、項目ごとに異なる人が注釈する状況を想定し、全員が人間のパネルと人間・LLM混合パネルの一致度を比較します。注釈者が全データで共通していなくても、LLMによる代替を統計的に検証できます。

続きを読む
CCTest · Blog
DailySafe、日常のマルチモーダル対話における動的な安全認識を評価
モデル評価
cctest.ai
モデル評価

DailySafe、日常のマルチモーダル対話における動的な安全認識を評価

DailySafeは、日常的なタスクが複数ターンにわたって進むなかで、マルチモーダルモデルが文脈に潜むリスクを見つけられるかを測るベンチマークです。危険の検知だけでなく、ユーザーの正当な目的を支援し続けられるかにも注目します。

続きを読む
CCTest · Blog
推論を増やしても買い物の正答率は向上せず、AIの自信だけが上昇
モデル評価
cctest.ai
モデル評価

推論を増やしても買い物の正答率は向上せず、AIの自信だけが上昇

10種類の最先端モデルを3つの商品選択ベンチマークで評価した研究では、推論への投入を増やしても判断品質は統計的に有意には向上せず、モデルが示す自信は高まりました。複数のモデルが同じ課題で誤り、同じ誤商品を選ぶ傾向も確認されました。

続きを読む