FrontierCS 2、AIエージェントのコンピューター科学研究力を検証

はじめに

プログラミング課題を一度で解けることと、コンピューター科学の研究開発を進められることは同じではない。研究開発では、既存のリポジトリを読み、改善点を仮説として立て、実験を行い、複数の指標やワークロードで正しさを確認する必要がある。FrontierCS 2は、この一連の能力をより現実に近い環境で測ろうとするベンチマークだ。

評価の仕組み

課題は、コンピューター科学の論文と、その著者が公開したコードを出発点に作られる。論文の中心的な貢献を取り除き、削除されたコードを人間の参照実装として扱う。つまり、単なる人工的な仕様ではなく、実際の研究成果に近い目標が設定される。

エージェントは動作するリポジトリを引き継ぎ、コードを調査し、実験し、任意のタイミングでパッチを提出できる。提出後には開発用テストスイートのスコアが返されるが、評価器、最終テスト、参照実装は非公開だ。最終提出物は隠されたテストで評価されるため、公開テストだけに合わせる戦略を取りにくい。

公開されている48課題は、機械学習システム、高性能計算、データベース、セキュリティ、ロボティクスなど13分野をカバーする。さらに、将来公開される予定の非公開課題も100件以上用意されている。

結果から見える限界

12のエージェントが評価され、Claude Opus 5.5が最も高い58%の実行通過率を記録した。ただし、この数値だけで幅広い研究能力を判断することはできない。16課題では、どの実行も通過しなかったからだ。特定の課題で成果を出せることと、未知の研究課題を安定して解決できることの間には、まだ大きな差がある。

また、統合された最終スコアで参照実装を上回っても、必ずしも合格ではない。特定の指標やワークロードで失敗すれば、課題全体としては通過できない。この設計は、平均値だけを高める最適化では、実用的なシステムの要件を満たせないことを明確にする。

意義

FrontierCS 2が測るのは、生成されたコードそのものだけではなく、調査、実験、デバッグ、提出判断という連続した研究上の意思決定である。この点で、一回限りのコード生成ベンチマークよりも、実際のエンジニアリングや研究に近い。

結果は両面を示している。現在のエージェントは一部の課題で人間の参照水準に達するが、その能力は均一ではなく、安定性も十分ではない。共通の能力尺度では、中央値の課題は最強エージェントが処理できる難度におおむね近いとされ、より難しい課題に対する余裕は限られている。

モデル開発では、コード補完だけでなく、長期計画、実験管理、複数目標の最適化が重要になる。利用者にとっても、単一課題の高スコアを、独立して最先端研究を完遂できる証拠と解釈すべきではない。

出典：Hugging Face Daily Papers