Claude・Codex・Cursorは開発ツールをどう選ぶのか：1.7万回の実験

導入

決済、メール、ストレージ、デプロイ機能をコーディングエージェントに追加させたとき、Claude Code、Codex、Cursorは同じサービスを推薦するのだろうか。Armatureはこの疑問を検証するため、3つのエージェントで合計16,893回の実験を実施し、情報の探し方と最終的な実装を比較した。

実験設計

研究チームは公開GitHubリポジトリを分析し、言語、フレームワーク、外部サービス、デプロイ基盤、チーム規模、コードベースの年齢を考慮したパネルを作成した。そのうえで、10言語にまたがる75個の仮想リポジトリを用意した。企業名、Git履歴、認証情報は架空だが、ロックファイルは実際のパッケージレジストリで検証された。

タスクは、症状だけを説明する利用者から、コンプライアンスや調達条件を細かく指定する企業エンジニアまで、複数の人物像に合わせて作成された。各実験は一時的なサンドボックスで実行され、エージェントが先に候補を分析・推薦し、その後に模擬ユーザーが第一候補を採用する対話も加えられた。これにより、許可を求められないために自前実装へ偏る問題を抑えた。

16,893回のうち、最初の分析対象になったのは51リポジトリ、18分野にまたがる5,292セッションだった。残りの記録も今後分析される可能性がある。

主な発見

• 検索の使い方が異なる。 Cursorは約3分の2でウェブを参照し、Codexは94%で検索した。Codexはsite:などの演算子で特定ドメインに絞ることが多い。一方、Claude Codeの検索率は約30%だが、検索時にはCodexの約3倍のページを閲覧した。サンドボックスのような新しい分野では検索率が約80%に上がった。
• 推薦は頻繁に食い違う。 3者が同じツールを選んだのは42%だけだった。音声エージェントでは、Claude CodeはTwilio、CodexはOpenAI Realtime API、CursorはVapiを選んだ。Claude Codeの自前実装率は約19%で、CodexとCursorの約10%のほぼ2倍だった。
• リポジトリの文脈が勝者を変える。 同じメール機能でも、TypeScriptではResend、PythonではSendGrid、GoではPostmark、JavaではAzure Communication Servicesが優勢だった。VercelはTypeScript、特にNext.jsで強かったが、Pythonでは推薦されずRenderが目立った。
• 言及と採用は別である。 PayPalは139回言及されたが一度も選ばれず、Adyenも175回中3回しか採用されなかった。LangChain、Netlify、Supabaseも頻出したが、最終的には別の候補に敗れることが多かった。
• 細かな説明が判断を変える。 無料プランの保持期間、運用負担、機能の抱き合わせが結果に影響した。データベースだけが必要な場面では、認証・ストレージ・リアルタイム機能まで含むSupabaseが不利になることもあった。

意味と影響

この結果は、コーディングエージェントが普遍的なサービスランキングを持っているわけではないことを示す。推薦は、事前知識、検索結果、既存コード、言語エコシステムの組み合わせで決まるため、同じ依頼でもリポジトリが変われば答えも変わる。

開発者は第一候補をそのまま調達判断にせず、制約条件と代替案を明示させ、法令対応、料金、移行、運用リスクを人間が確認すべきだ。ベンダーにとっては、検索しやすいドキュメントと明確な料金説明が、製品機能そのものと同じくらい重要になる可能性がある。

出典：Hacker News