CUDA DSL Đang Tiến Tới Nghỉ Hưu — và Điều Đó Ổn Thôi

Nhóm Hazy Research của Stanford có một quan điểm khiêu khích: CUDA DSL đang trên đà thoái trào. Trong một bài đăng blog mới, họ lập luận rằng các tác nhân AI đang tiếp quản vai trò giảm tải nhận thức mà các ngôn ngữ chuyên biệt đã đảm nhiệm trong nhiều thập kỷ. Bài viết dựa trên kinh nghiệm xây dựng megakernel của họ — đầu tiên với một lớp trừu tượng C++ được viết tay, sau đó với một tác nhân tạo mã tối ưu hóa cho mục tiêu trực tiếp từ một lời nhắc.

Năm ngoái, nhóm đã xây dựng megakernel cho suy luận LLM bằng một framework C++ tùy chỉnh. Nó hoạt động, nhưng thật khổ sở: cấu trúc dữ liệu phức tạp, đồng bộ hóa giữa các luồng, và luồng điều khiển lồng nhau sâu khiến mã khó nắm bắt trong đầu. Năm nay, họ xây dựng một megakernel Mixture-of-Experts bằng cách xóa bỏ hoàn toàn lớp trừu tượng. Một tác nhân xử lý trực tiếp sự phức tạp, tạo ra mã nhanh tương đương — mà không cần lớp trung gian.

Mô hình rất rõ ràng: các nhiệm vụ trước đây yêu cầu trừu tượng hóa (như viết megakernel) giờ có thể quản lý bằng tác nhân, vì sự trừu tượng có thể nằm trong lời nhắc như các chỉ dẫn mơ hồ thay vì trong các mẫu thiết kế cẩn thận. Tác nhân hoạt động như một trình biên dịch biến ý định mơ hồ thành mã hoạt động. Các ý tưởng đằng sau megakernel vẫn quan trọng, nhưng việc diễn đạt chúng dễ dàng hơn.

Công việc của sự trừu tượng đang thay đổi

Các tác giả lập luận rằng công việc chính của một sự trừu tượng — phục vụ như một công cụ giảm tải nhận thức — đang được nghỉ hưu. Các tác nhân đang đảm nhận công việc đó. Bằng suy diễn, các CUDA DSL như ThunderKittens là tiếp theo trong danh sách, có thể trong vòng một năm.

Nhưng họ cẩn thận lưu ý rằng không phải tất cả các trừu tượng đều được tạo ra như nhau. Một sự trừu tượng cũng là một bề mặt chia sẻ nơi ứng dụng, tái sử dụng và đánh giá gắn kết. Nếu không có nó, bạn sẽ có một vụ nổ Cambrian về các thách thức xác minh. Mười nhóm sử dụng ThunderKittens kiểm tra cùng một ngữ nghĩa tile; mười nhóm tạo megakernel tùy chỉnh có mười bộ vấn đề rời rạc.

Cũng có câu hỏi về oracle. Khi họ xóa framework, họ giữ lại các triển khai tham chiếu, dung sai số học và kỳ vọng đã được đo lường đóng vai trò như hợp đồng. Bạn chỉ có thể nghỉ hưu một lớp khi bạn có một oracle tồn tại lâu hơn nó.

Điều gì còn lại khi framework biến mất?

Bài viết kết thúc với một sự khiêu khích: nếu một lời nhắc có thể tạo ra mọi lớp của ngăn xếp, thì một codebase đáng giá bao nhiêu? Các tác giả gợi ý rằng codebase chính xác nhưng mong manh, gắn liền với ngôn ngữ, framework và quy ước. Lời nhắc mơ hồ nhưng di động. Với các tác nhân, có một cuộc cạnh tranh giữa một bộ thực thi thông minh đọc các chỉ dẫn không đầy đủ và một bộ thực thi ngốc nghếch cần mọi khoảng trống được chỉ định. DSL là đặc tả đó, được thể hiện như một codebase. Nếu bộ thực thi không còn ngốc nghếch, DSL mất nền tảng của nó.

Họ thừa nhận các rủi ro: không có oracle chia sẻ, không có truyền đạt kiến thức cho người mới, và một mẫu thiên vị duy nhất. Nhưng sự chuyển đổi có vẻ không thể tránh khỏi. Điều chúng ta giữ là ý định, các bất biến, các bài kiểm tra và kiến thức miền. Thư viện có thể biến mất, nhưng kiến thức không bay hơi. Niềm tin di chuyển lên một cấp độ — chúng ta xem xét kỹ đặc tả và oracle, không phải diff. Việc triển khai trở nên dùng một lần.

Các trừu tượng nghỉ hưu. Ý tưởng ở lại.