Large Discovery Model：実験フィードバックで科学探索を更新する

科学的発見は、もっともらしい答えを一度生成すれば終わる課題ではない。研究者は仮説を提案し、実験で検証し、結果から学び、次に試す候補を決める。この反復は、候補空間が巨大で構造化され、しかも一回の評価に大きなコストがかかる場合に特に難しくなる。より良いニューラルネットワークの学習プログラム、望ましい性質を持つ抗体、複数の目的を満たす分子などがその例だ。

Large Discovery Model（LDM）は、このような開放型探索を一つの枠組みで扱うために提案された。論文が指摘するのは、生成モデルや大規模言語モデルの尤度を、そのまま候補の実際の価値とみなせないという問題である。ある候補が高い確率を得ても、それは実験性能が高いからではなく、既知のパターンに似ている、または形式的に自然であるからかもしれない。また、モデルによる自己評価は、認識論的不確実性の校正された指標とは限らない。観測データの分布から外れた新規候補では、この問題がさらに大きくなる。

LDMは、次の要素を接続する。

• 生成モデル：新しい候補を提案し、既存候補を段階的に改良する。
• 報酬サロゲートモデル：ベイズ非パラメトリック手法に基づき、候補の性能を予測すると同時に不確実性を推定する。
• 不確実性を考慮した価値評価：予測スコアだけでなく予測の不確かさも使い、見込みの高い領域の活用と未知領域の探索を調整する。
• 継続的な発見メモリ：新しい実験観測が得られるたびに、メモリとサロゲートモデルを更新する。

この構成によって、生成モデルは最終的な審判ではなく、探索ループの候補提案器になる。システムは目的関数全体を最初から正確に知る必要がない。予測と外部評価を照合しながら、次の探索を徐々に絞り込む。サロゲートモデルは、抽象的な設計候補と実験で測定された価値を結ぶ役割を担い、限られた実験回数をより有望な方向へ配分する。

論文では、ニューラルネットワーク学習、抗体設計、分子最適化という三つのシナリオでLDMを評価した。提供された要約によれば、LLMだけのリフレクションや従来の統計的探索と比べ、検証BPBの低下幅は2.4倍、結合エネルギーは相対的に18.2%低下し、分子の多目的性能は60%を超える相対的向上を示した。プログラム、タンパク質、分子という異なる設計対象を扱う点は、特定分野の工夫だけでなく、生成・評価・学習のループ自体の汎用性を示そうとするものだ。

ただし、この成果は実験を不要にする自律科学者の完成を意味しない。性能は観測データの品質、サロゲートの不確実性の校正、候補表現と目的設定の妥当性に依存する。今後は、実験フィードバックを何度も受ける中で、候補を生成する方法だけでなく、最も情報量の大きい次の実験を選ぶ方法まで学習できるかが重要になる。LDMが示すのは、科学AIにおいて生成能力は出発点にすぎず、不確実な状況で「次に何を試すか」を決める能力こそが開放型発見の中心だということだ。

出典：Hugging Face Daily Papers