Harbor、80超のベンチマークを統合するエージェント評価基盤

導入

言語モデルがウェブ閲覧、ターミナル操作、ツール呼び出し、複数段階の作業を実行できるようになるにつれ、評価の焦点は単純な回答の正しさから、環境内でタスクを完了できるかへ移っています。しかし、既存のエージェント向けベンチマークは、それぞれ異なる環境、インターフェース、実行ハーネスを採用しています。そのため、研究者は同じような統合作業を繰り返す必要があり、結果の横比較も容易ではありません。

arXivで公開された新しい研究は、インフラと評価セットの両面からこの問題に取り組むHarbor AdaptersとHarbor-Indexを提案しました。

主なポイント

• 共通アダプターを整備。 Harbor Adaptersは80以上のベンチマークを統一された評価基盤へ移植します。コードレビューとパリティ実験により、移植後も元のタスクの意味や難度が保たれているかを検証しています。
• 広範な比較評価を実施。 8モデルを54ベンチマークで評価し、各モデルをTerminus-2と、3種類のネイティブハーネスのいずれかで実行しました。これにより、モデルの能力だけでなく、実行基盤の違いや失敗の要因も分析できます。
• 82タスクを選定。 Harbor-Indexは29ベンチマークから、難しく多様な82タスクを集めたものです。難度による絞り込み、AIと人間による監査、問題発見後の修正サイクルを組み合わせ、実行コストを抑えながら幅広さを維持しています。
• 高い合格率は達成されず。 評価されたモデルとハーネスの組み合わせで、30%を超える合格率はありませんでした。最高はGPT-5.5とCodexの組み合わせで28.0%です。複雑な環境での計画、ツール利用、継続的な実行には、なお大きな課題が残ります。

意義と影響

Harborの重要性は、新しいランキングを作ったことだけではありません。エージェント評価を支える実装面を共通化し、失敗がモデルの推論能力によるものなのか、ハーネスやツール統合、環境設定によるものなのかを切り分けやすくします。開発者にとってHarbor-Indexは、モデルやエージェント構成を更新した際に、比較的低コストで性能変化を確認できる回帰テストとしても利用できます。

一方で、アダプターが評価上のすべての偏りを解消するわけではありません。ベンチマークごとに目的、環境、成功条件は異なり、82タスクだけで現実の全ワークフローを代表することもできません。したがってHarborは、単独の決定的な知能指標ではなく、再現可能な評価の土台と補助的なテストセットとして捉えるのが適切です。アダプター、結果、分析、Indexの公開は、今後の監査や拡張を促す材料になります。

出典：arXiv