Cloudflare hợp nhất Workers AI và AI Gateway vào một control plane duy nhất

Cloudflare đang xóa bỏ ranh giới giữa Workers AI và AI Gateway. Điều bắt đầu như hai sản phẩm riêng biệt — một cho suy luận mô hình được lưu trữ, một cho proxy đến bất kỳ nhà cung cấp nào — giờ đang hội tụ thành một control plane duy nhất. Mục tiêu: một điểm vào duy nhất, một hệ thống thanh toán, một bộ log, và cuối cùng là định tuyến quan tâm đến mô hình, không phải nhà cung cấp.

Một binding, một API, không còn lựa chọn

Bước đầu tiên là hợp nhất các điểm vào. Binding Workers AI và REST API giờ đều định tuyến qua cùng một đường dẫn, với tùy chọn gateway trỏ đến một gateway ID. Nếu bạn chưa từng tạo gateway, truyền default sẽ tự động tạo một gateway khi sử dụng lần đầu. Điều tương tự áp dụng cho REST API, nơi header cf-aig-gateway-id thực hiện điều đó.

Điều này có nghĩa bạn không còn phải quyết định giữa Workers AI và AI Gateway ngay từ đầu. Mọi cuộc gọi đều có quan sát, logging và theo dõi chi phí theo mặc định, với tùy chọn tạo gateway có tên sau này để tùy chỉnh cache hoặc phân chia lưu lượng.

Quan sát không cần thiết lập

Trước đây, để có tầm nhìn về lưu lượng Workers AI, bạn cần thiết lập AI Gateway một cách tường minh. Giờ đây, gateway mặc định cung cấp logging request/response, số token trên mỗi mô hình và phân bổ chi phí tự động. Dashboard hiển thị phân tích độ trễ, tỷ lệ lỗi và chính xác prompt và response — một nâng cấp đáng kể cho các đội ngũ gỡ lỗi hành vi mô hình hoặc kiểm toán đầu ra.

Thanh toán thống nhất và giới hạn tốc độ nâng cao

Cloudflare cũng đang cho phép sử dụng tín dụng AI Gateway cho Workers AI. Bạn có thể nạp ví và chi tiêu trên OpenAI, Anthropic, Workers AI hoặc bất kỳ nhà cung cấp được hỗ trợ nào. Như một ưu đãi, sử dụng thanh toán thống nhất sẽ nhận được giới hạn tốc độ nâng cao trên các mô hình Workers AI, với chi tiết trong tài liệu dành cho nhà phát triển.

Định tuyến ưu tiên mô hình sắp tới

Điểm lớn hơn là định tuyến ưu tiên mô hình. Thay vì chỉ định nhà cung cấp, bạn chỉ định một mô hình và để gateway xử lý việc chọn nhà cung cấp, chuyển đổi dự phòng và cân bằng tải. Nếu Workers AI có dung lượng, bạn nhận được hạ tầng được quản lý; nếu hết dung lượng, lưu lượng chuyển sang nhà cung cấp khác lưu trữ cùng trọng số. Điều này được thiết kế để cải thiện khả năng phục hồi mà không cần retry ở cấp ứng dụng.

Ngoài ra, Cloudflare đang phát triển định tuyến thông minh: một bộ phân loại trên Workers AI đọc prompt của bạn, dự đoán loại tác vụ và độ phức tạp, và chọn mô hình tốt nhất từ một nhóm được tuyển chọn. Điều này vẫn đang trong giai đoạn thử nghiệm nội bộ, nhưng đường dẫn zero-config có thể loại bỏ nhu cầu duy trì logic định tuyến của riêng bạn.

Bắt đầu

Người dùng Workers AI hiện tại có thể bắt đầu định tuyến qua gateway mặc định để có logging và phân bổ chi phí ngay lập tức. Người dùng AI Gateway có thể thêm Workers AI bằng cách gọi một mô hình và nạp ví. Control plane thống nhất hiện đã có sẵn, với định tuyến ưu tiên mô hình sẽ thử nghiệm trong những tháng tới.