Claude Code, Codex, Cursor: 16.893 phiên chạy hé lộ cách các tác tử lập trình chọn công cụ

Armature, một công ty khởi nghiệp xây dựng cơ sở hạ tầng đánh giá cho các tác tử lập trình, đã công bố một bộ dữ liệu và phân tích về 16.893 phiên chạy tác tử. Mục tiêu: tìm ra công cụ bên thứ ba nào mà Claude Code, Codex và Cursor thực sự chọn khi được để tự quyết định. Phiên bản ngắn gọn: chúng bất đồng rất nhiều, ngữ cảnh kho lưu trữ quan trọng hơn thương hiệu nhà cung cấp, và được nhắc đến trong cuộc trò chuyện không giống với việc được chọn.

Cách thí nghiệm được tiến hành

Armature đã xây dựng 75 kho lưu trữ tổng hợp trên 10 ngôn ngữ, được thiết kế để mô phỏng các stack khởi nghiệp thực tế. Họ tạo ra các công ty giả, lịch sử git giả, khóa API giả và các tệp lockfile thật. Sau đó, họ tạo ra 1.163 biến thể nhiệm vụ, mỗi nhiệm vụ được diễn đạt theo một trong bốn persona: vibe-coder, kỹ sư cấp dưới, kỹ sư cấp cao và kỹ sư doanh nghiệp. Một con người mô phỏng (do Gemini 3.7 Flash đóng vai) được đưa vào vòng lặp để làm cho các tương tác thực tế hơn—các tác tử có thể đặt câu hỏi và nhận sự chấp thuận trước khi chọn giải pháp bên thứ ba.

Mỗi phiên chạy được thực hiện trong một sandbox tạm thời (E2B, Blaxel hoặc Daytona), và một phiên bản Gemini thứ hai đánh giá liệu phiên chạy có hợp lệ và công cụ nào đã thắng. Trong số 16.893 lần chạy, 5.292 phiên chạy trên 51 codebase được coi là hợp lệ và được công bố, cùng với các trace đầy đủ.

Những phát hiện chính

Các tác tử bất đồng về nguồn và lựa chọn

• Cursor dựa quyết định trên tìm kiếm web trong khoảng 2/3 số phiên chạy.
• Codex sử dụng tìm kiếm web 94% thời gian, nhưng 9 trên 10 truy vấn sử dụng toán tử site: để tập trung vào các miền đáng tin cậy.
• Claude Code dựa vào kiến thức có sẵn, chỉ tìm kiếm web khoảng 30% thời gian—nhưng khi tìm kiếm, nó duyệt số trang gấp 3 lần Codex.
• Cả ba tác tử chỉ chọn cùng một công cụ trong 42% trường hợp. Ví dụ: đối với tác tử giọng nói, Claude Code chọn Twilio, Codex chọn OpenAI Realtime API, Cursor chọn Vapi.
• Claude Code tự xây dựng nội bộ gần như gấp đôi Codex và Cursor (19% so với 10%).

Ngữ cảnh kho lưu trữ mang tính quyết định

Với cùng một yêu cầu trên bốn kho lưu trữ bằng các ngôn ngữ khác nhau, nhà cung cấp email chiến thắng đã thay đổi: Resend thắng trên TypeScript, SendGrid trên Python, Postmark trên Go và Azure ACS trên Java. Vercel thắng trên các kho TypeScript (100% khi Next.js được sử dụng) nhưng không bao giờ được khuyến nghị trên các kho Python, nơi Render thống trị.

Được nhắc đến không phải là chiến thắng

PayPal được trích dẫn 139 lần và không bao giờ được chọn (Stripe thắng 124 trong số các phiên đó). LangChain là framework được trích dẫn nhiều nhất với 194 lượt nhắc nhưng chỉ được chọn 4 lần. Netlify: 152 lượt nhắc, 6 lượt chọn. Supabase: 242 lượt nhắc, vẫn bị Neon thống trị.

Chi tiết trang nhà cung cấp có thể thay đổi quyết định

Mailgun thua Postmark khi các tác tử đọc “giữ dữ liệu 1 ngày” trên gói miễn phí của nó. Supabase thua vì giá gói của nó giới thiệu quá nhiều tính năng BaaS khi các tác tử chỉ muốn một cơ sở dữ liệu. Trong 388 phiên chạy, chi phí quản lý nền tảng được nhắc đến; trong 195 phiên, chi phí—thường liên quan đến cách trình bày hơn là các yếu tố loại trừ thực sự.

Một số thị trường bị thống trị, số khác đang tranh chấp

Stripe thắng 9 trên 10 phiên thanh toán. Neon thắng 66% các phiên cơ sở dữ liệu. S3 thống trị lưu trữ tệp với 45%. Resend và Postmark dẫn đầu email với lần lượt 35,6% và 27,4%.

Điều này có nghĩa gì cho các nhà cung cấp và nhà phát triển

Đối với nhà cung cấp: tài liệu và trang giá của bạn giờ là một phần trong quy trình quyết định của tác tử. Đối với nhà phát triển: đừng cho rằng lựa chọn mặc định của tác tử là tối ưu—nó bị ảnh hưởng bởi ngữ cảnh kho lưu trữ và kiến thức có sẵn của tác tử. Armature đã công khai tất cả các trace, vì vậy bạn có thể tự đào sâu vào dữ liệu.