AI科学者に求められるのは、決められた手順を正確にこなすことだけではない。何を測るかを選び、次の実験の方向を決め、さらに自分で実験を設計する力も必要になる。TwinLab-Benchは、このうち特に開かれた能力である「自ら実験を設計する力」に焦点を当てる。AIが立案した実験を環境が実行し、実験記録に根拠を持つ結果を返せるかを評価する仕組みだ。
ベンチマークは、物理科学、生命科学、工学の52課題を収録し、100種類を超える実験操作に対応する。各課題には専用のTwinLabエージェントが用意され、被評価AIが設計した実験を実行する環境として働く。エージェントは実験室の生データや資料を読み、記録をもとに作られた計算ツールを呼び出す。そのうえで、AIの報告を実験記録から作成された非公開の正解と照合する。
評価対象となる三つの段階
- 指定された計算・実験の手順を正しく実行する。
- あらかじめ用意された候補の中から次の測定を選ぶ。
- 固定された選択肢に頼らず、自分で実験を設計する。
既存のベンチマークは、手順の実行や候補群からの選択を主に評価してきた、と論文は説明する。TwinLab-Benchはそこに、AI自身が実験計画を立てる能力を加えようとしている。実験環境を伴うため、計画を文章で述べるだけでなく、その計画に沿った結果を出し、報告を検証できる点が特徴だ。
研究では、TwinLabエージェントと、課題文だけを与えられた言語モデルも比較した。要約によれば、TwinLabエージェントを使うことで、実験記録から外れた測定値や、同じ依頼への回答の不一致がほぼ解消された。また、モデルが記憶だけで正解を答えてしまう可能性を調べるため、閉じた条件でのプローブも設けている。評価を自由生成だけに委ねず、実験材料と記録に結びつける工夫といえる。
一方、最も高い成績を示したClaude Fable 5.2でも平均スコアは45.0だった。提供された概要にはスコアの尺度が記されていないため、百分率と解釈することはできない。ただし、論文は前線モデルにとっても課題が難しいと報告している。失敗要因の実証分析も行われたとされるが、今回の資料には個別の失敗類型までは示されていない。
この研究の意義は、評価を「指示どおりに動くか」から、「実験を設計し、記録に根ざした環境で実行し、報告を検証できるか」へ広げたことにある。実験設計に加え、結果の信頼性や同じ依頼への一貫性も調べられる。ただし、ここで実験を実行するのは実験記録に基づくTwinLabエージェントであり、AIが現実の研究室を直接操作するわけではない。実際の研究現場への応用可能性を判断するには、課題ごとの詳細な結果や現実の実験での検証も必要になる。
コメント
ログイン状態を確認中…
コメントを読み込み中…