OpenFrontiers、AIは研究成果を本当に再発見できるのかを検証

研究能力をどう測るか

大規模言語モデルは、難しい数学や科学の問いに対して説得力のある説明を作れる。しかし、流暢な説明や正しそうな証明スケッチだけでは、モデルが研究成果を自力で導いたのか、既存知識を再構成しただけなのかを判断しにくい。OpenFrontiersはこの問題に対し、研究課題のデータベースと、機械的に検証できる評価問題を一つの資源として整備した。

二つの構成要素

第一の構成要素は、分野横断型の研究課題コーパスである。そこには1万2151件の問題が収録され、問題文だけでなく、背景、これまでの進展なども記録されている。研究課題を単なるプロンプトの集合ではなく、研究の状況を伴う資料として扱う点が特徴だ。

第二の構成要素は、数学の回顧的ベンチマークである。問題数は200問で、資料上の設定では110問が2026年に解決済み、90問が未解決となっている。各問題にはLean 4による形式化された命題が付属し、自動プローブによる確認と2人の独立レビューを経ている。さらに品質スコアなどで絞り込んだHQ-50も用意された。

解決済みの問題と未解決の問題を同じ枠組みに置くことで、モデルが過去の結果を再構成できるか、そして現在も開かれている問いにどこまで取り組めるかを分けて調べられる。

証明の検証と三つの条件

評価は隔離されたサンドボックス内で実施され、形式化された証明を2つの独立したチェッカーが検査する。モデル自身の確信度や文章の自然さではなく、証明が実際に通るかどうかを基準にする設計だ。

比較された条件は次の三つである。

• 閉鎖型条件：外部資料を使わず、モデルの推論と内部知識に依存する。
• 固定検索条件：あらかじめ限定された情報だけを利用する。
• ライブウェブ条件：オンライン情報を検索できる。

7つのLLMエージェントをHQ-50で評価したところ、報告対象となった解決済み40問では、閉鎖型条件で再発見できたのは最大7問だった。ライブウェブでは成功数の見え方が変わるものの、その多くは公表済みの解答を見つけた結果であり、独立した再発見とは区別する必要がある。

研究への意味

OpenFrontiersの意義は、AIの「正解率」を研究能力と同一視しない評価軸を示したことにある。問題の履歴、形式化、アクセス条件、独立検査を組み合わせれば、記憶、検索、推論、再発見の違いをより明確に分析できる。

現時点では数学中心で、形式化された評価集合も限定的である。そのため、結果を科学研究全体へそのまま一般化することはできない。それでも、他分野への拡張、エージェント戦略の比較、未解決問題への進展追跡に向けた基盤として、重要な出発点になる。

Hugging Face Daily Papers