Claude Code、Codex、Cursor：16,893セッションが明かすコーディングエージェントのツール選択

Armatureは、コーディングエージェント向けの評価インフラを構築するスタートアップで、16,893回のエージェントセッションのデータセットと分析を公開した。目的は、Claude Code、Codex、Cursorが自律的に判断した場合に、実際にどのサードパーティツールを選択するかを明らかにすることだ。要約すると、彼らは頻繁に意見が分かれ、リポジトリのコンテキストはベンダーブランドよりも重要であり、会話で言及されることは選択されることと同じではない。

実験の方法

Armatureは、10言語にわたる75の合成リポジトリを構築し、実際のスタートアップの技術スタックを模倣するように設計した。偽の企業、偽のgit履歴、偽のAPIキー、そして本物のロックファイルを生成した。次に、1,163のタスクバリエーションを作成し、それぞれを4つのペルソナ（バイブコーダー、ジュニアエンジニア、シニアエンジニア、エンタープライズエンジニア）のいずれかの視点で表現した。シミュレートされた人間（Gemini 3.7 Flashが担当）がループに参加し、インタラクションをより現実的にした。エージェントは質問したり、サードパーティのソリューションを選択する前に承認を得たりできた。

各セッションは一時的なサンドボックス（E2B、Blaxel、またはDaytona）で実行され、2つ目のGeminiインスタンスがセッションが有効かどうか、どのツールが勝利したかを判定した。16,893回の実行のうち、51のコードベースでの5,292セッションが有効と見なされ、完全なトレースとともに公開された。

主な発見

エージェントは情報源と選択で意見が分かれる

• Cursorはセッションの約2/3でウェブ検索に基づいて判断する。
• Codexは94%の確率でウェブ検索を使用するが、10件中9件のクエリでsite:演算子を使用して信頼できるドメインに焦点を当てる。
• Claude Codeは事前知識に依存し、ウェブ検索は約30%のみ。ただし、検索する場合はCodexの3倍のページを閲覧する。
• 3つのエージェントすべてが同じツールを選択するのはわずか42%のケース。例：音声エージェントの場合、Claude CodeはTwilio、CodexはOpenAI Realtime API、CursorはVapiを選択する。
• Claude CodeはCodexやCursorの約2倍の頻度で社内開発を行う（19%対10%）。

リポジトリのコンテキストが決定的

異なる言語の4つのリポジトリで同じ依頼をした場合、メールプロバイダーの勝者は変わった：TypeScriptではResend、PythonではSendGrid、GoではPostmark、JavaではAzure ACSが勝利。VercelはTypeScriptリポジトリで勝利するが（Next.js使用時は100%）、Pythonリポジトリでは推奨されず、Renderが優勢となる。

言及されることは勝利ではない

PayPalは139回引用されたが、一度も選択されなかった（Stripeがそのうち124セッションで勝利）。LangChainは194回の言及で最も引用されたフレームワークだったが、選択されたのはわずか4回。Netlify：152回の言及、6回の選択。Supabase：242回の言及があったが、依然としてNeonに敗北。

ベンダーページの詳細が決定を覆す可能性

Mailgunは、エージェントが無料プランの「1日保持」を読んだとき、Postmarkに敗れた。Supabaseは、エージェントがデータベースだけを求めたときに、バンドル価格がBaaS機能を多く提示しすぎたために敗北。388セッションでプラットフォーム管理のオーバーヘッドが言及され、195セッションでコストが言及された。多くの場合、実際の失格要因というよりは提示方法の問題だった。

支配的な市場もあれば、競争の激しい市場もある

Stripeは決済セッションの10件中9件で勝利。Neonはデータベースセッションの66%で勝利。S3はファイルストレージで45%と支配的。ResendとPostmarkはメールでそれぞれ35.6%と27.4%でリード。

ベンダーと開発者への示唆

ベンダーへ：あなたのドキュメントと価格ページは、今やエージェントの意思決定プロセスの一部です。開発者へ：エージェントのデフォルトの選択が最適だと思い込まないでください。それはリポジトリのコンテキストとエージェントの事前知識に影響されます。Armatureはすべてのトレースを公開しているので、自分でデータを掘り下げることができます。