「呼び出せる」から「使いこなせる」へ：AIエージェントの最後の一歩

導入

AIエージェントが端末、ブラウザ、コード、外部ツールにアクセスできることと、現実の仕事を最後まで完了できることは同じではない。多くの場合の失敗は、資源を見つけた後に起きる。エージェントは状況を理解し、適切な操作を選び、得られた結果を次の処理へ正しくつなげなければならない。

既存のハーネスでは、この能力をプロンプトやスクリプト、個別のオーケストレーションとして毎回作り直す必要がある。Hugging Face Daily Papersで紹介された研究は、この問題に対して Agent-Native Primitives という考え方を示した。

主なポイント

• 資源に適用能力を持たせる：プリミティブは単なるAPIではない。ツール、コード、知識などの資源に、常駐するLLMベースの専門家を組み合わせる。この専門家は文脈を読み、資源を使い、他のプリミティブと連携する。
• タスク別にハーネスを構成する：HEELOは “Harness Engineering around Evolving Agent-Native Primitives for the Last Mile to Real-World Tasks” の略称で、タスクに必要なプリミティブを選び、専用のグラフを作る。
• 検証を改善ループに組み込む：環境から得られる証拠で結果を確認し、失敗に関係するプリミティブを修正する。新しい版は検証後にライブラリへ追加される。
• 複数の能力領域を対象にする：研究では開発、ツール利用、ナビゲーションなどを含む8種類のプリミティブ群を実装し、20以上のベンチマークで評価した。

結果と意味

論文の報告によれば、Dev-Primitivesは同じCodex系バックボーン上でTerminal-Bench 4.0の解決率を37.3%から55.5%へ高めた。タスクごとに構成するHarness PrimitivesはTerminal-Bench 2.0 Pass@1を60.0%から72.2%に、Tool PrimitivesはToolBenchの合格率を55.8%から75.1%に改善した。Navigation PrimitivesではGAIA-Text-103の正解率が45.6%から58.3%になったという。

さらに、heelo.devの46件の実世界タスクでは、Claude CodeとCodexが単独で完了した件数はそれぞれ9件だった。MCPサーバー経由でHEELOに接続すると、完了数は39件と35件に増えた。時間と完了タスクあたりのコストも低下したと報告されているが、これらは研究チームの評価条件における結果であり、すべての運用環境にそのまま適用できるとは限らない。

この研究の重要性は、エージェントシステムで再利用する単位を変えようとしている点にある。従来はAPI、ツール、プロンプトが中心だった。Agent-Native Primitivesは、資源を文脈の中で適用する能力そのものを共有しようとする。今後は、プリミティブ間の連携コスト、検証に使う証拠の信頼性、異なる分野への移行性が課題になる。

出典：Hugging Face Daily Papers