Cloudflare Mua Lại Đội Ngũ Ensemble AI để Tăng Hiệu Quả Suy Luận

Cloudflare thông báo rằng các thành viên chủ chốt của Ensemble AI đang gia nhập công ty để đẩy nhanh công việc về hạ tầng AI, cụ thể là xoay quanh việc làm cho các mô hình lớn nhanh hơn và rẻ hơn để phục vụ. Ensemble, được thành lập vào năm 2023, đã làm việc về nén mô hình và các kỹ thuật suy luận hiệu quả giúp giảm bộ nhớ, tính toán và chi phí triển khai cho các LLM và mô hình đa phương thức.

Ensemble Mang Lại Gì

Đóng góp cốt lõi của Ensemble là NdLinear, một giải pháp thay thế trực tiếp cho các lớp tuyến tính tiêu chuẩn trong transformer, hoạt động trên các kích hoạt đa chiều thay vì làm phẳng chúng. Điều này bảo tồn các trục cấu trúc (heads, channels, spatial dimensions) đồng thời cắt giảm số lượng tham số và tính toán. Họ cũng phát triển NdLinear-LoRA, một phương pháp tinh chỉnh hiệu quả giúp giảm các tham số có thể huấn luyện.

Các phương pháp tiếp cận này bổ sung cho lượng tử hóa và lượng tử hóa vector, nhằm cho phép các nhà phát triển chạy các mô hình có năng lực với yêu cầu tài nguyên thấp hơn đáng kể.

Tại Sao Cloudflare Quan Tâm

Workers AI là nền tảng suy luận GPU serverless của Cloudflare chạy trên mạng lưới toàn cầu của họ. Chi phí suy luận vẫn là rào cản lớn đối với việc mở rộng quy mô các ứng dụng AI, đặc biệt khi khối lượng công việc mở rộng ra ngoài sinh văn bản sang các tác nhân, mô hình đa phương thức, cá nhân hóa và tinh chỉnh. Cloudflare đã có engine suy luận riêng (Infire), nén tensor (Unweight) và một nền tảng cho các mô hình cực lớn. Đội ngũ Ensemble sẽ tập trung vào việc cải thiện kinh tế học của việc phục vụ các LLM và kiến trúc tiên tiến, nhắm đến hiệu quả mô hình, sử dụng GPU và triển khai có thể mở rộng.

Bức Tranh Lớn Hơn

Việc mua lại này không chỉ đơn thuần là về nhân tài. Nó báo hiệu rằng Cloudflare coi hiệu quả suy luận là một lợi thế cạnh tranh. Bằng cách kết hợp hạ tầng biên toàn cầu của mình với các cải tiến kiến trúc của Ensemble, Cloudflare nhằm cho phép các nhà phát triển triển khai các ứng dụng AI với chi phí thấp hơn, hiệu suất tốt hơn và ít chi phí vận hành hơn. Cược lớn là các nhà phát triển sẽ chọn nền tảng làm cho suy luận rẻ nhất và dễ mở rộng nhất, không chỉ là nền tảng có nhiều mô hình nhất.

Đối với các kỹ sư, điều này có nghĩa là Workers AI có khả năng sẽ trở nên tốt hơn trong việc chạy các mô hình lớn một cách hiệu quả, có khả năng giảm nhu cầu về các phiên bản GPU đắt tiền hoặc các pipeline tối ưu hóa phức tạp. Nếu NdLinear và các kỹ thuật tương tự thực hiện được lời hứa của chúng, chúng ta có thể thấy một sự chuyển dịch sang các mô hình hiệu quả hơn về mặt kiến trúc, chạy tốt trên hạ tầng phân tán, serverless.