Harnessかモデルか：同一モデル比較が示すコーディングエージェントの盲点

導入

エージェント型コーディングシステムの性能は、言語モデルだけで決まらない。ツール、プロンプト、タスクの分解方法、実行ループ、停止条件などを組み合わせたharnessが、チャットモデルを自律的なソフトウェア開発者へと変える。各ベンダーは自社モデル向けの純正harnessを提供しているため、「純正の組み合わせが最も多くの課題を解く」という前提が広がっている。今回のarXiv論文は、この前提を同一モデルの対照実験で検証した。

主な結果

• 汚染の影響を抑えるため、256件のリポジトリ課題と、モデルの学習時点より後に作られたコンテスト課題からなる非公開スイートを利用した。
• Claude Opus 4.8ではclaude-agent-sdkとdeepagents、GPT-5.5ではOpenAI Codex SDKとdeepagentsを比較した。主要比較では各モデルにつき同じ80課題を実行し、Gemini 3.5 FlashとDeepSeek V3.2は補助的なセルとして扱った。
• 予定した800回のうち792回が独立した採点オラクルで評価された。Opusの2つのharnessの成功率は48.8%と50.0%、差はマイナス1.25ポイントだった。GPT-5.5は55.6%と54.4%、差はプラス1.25ポイントだった。いずれも信頼区間がゼロをまたぐため、平均的な優位性は確定しない。
• Opusでは課題の内訳によって結果が反転した。61件のリポジトリ課題では純正harnessが9.0ポイント下回った一方、19件のコンテスト課題では23.7ポイント上回った。ただし、この分類はデータを見た後に選ばれたため、著者は仮説として扱い、事前設計した追試が必要だとしている。
• 正しさと制限時間内の完了は同じではない。壁時計の上限で停止した81回のうち22回は、すでに採点に合格するパッチを生成していた。タイムアウトを一律に失敗とみなせば、実力を過小評価する可能性がある。

コストと限界

固定した公開価格と1ターンごとの利用量で再計算すると、Opusでは中立的なharnessの解決タスク当たりコストが純正構成の約1.3～1.6倍、GPT-5.5では約1.2倍だった。ただし、Anthropicアカウントの58回分には利用量の記録がなく、欠落分をどちらのセルに配分するかでOpusの比率は0.7～2.3に変わる。したがって、請求額ベースの順位は未確定である。今回の改訂版では、過去の原稿にあったテレメトリーの意味解釈の不具合も修正された。

意義

この研究は、すべてのharnessが同じだと証明したわけではない。示したのは、純正構成の優位性を前提にせず、同じモデルと同じ課題で検証すべきだということだ。実運用の評価では、全体成功率だけでなく、課題の層別化、タイムアウト方針、合格パッチの扱い、利用量の記録を報告する必要がある。研究者はオーケストレーター、採点オラクル、再分析コード、派生集計を公開しているが、課題そのものは非公開だ。今後は事前登録した分類と独立した再現実験が求められる。

出典：arXiv