GPT-2 trong CMake thuần túy: Vì Sao Lại Không

gpt2.cmake của AlpinDale là một bằng chứng khái niệm triển khai mô hình GPT-2 hoàn toàn bằng CMake, sử dụng số học điểm cố định Q16.16. Dự án cung cấp hai đường dẫn: một mô hình đồ chơi để thử nghiệm nhanh và một mô hình đầy đủ tải trọng lượng GPT-2 thực tế của OpenAI từ Hugging Face.

Cách hoạt động

Mô hình đồ chơi tạo bảng và định nghĩa mô hình thông qua các script Python, sau đó chạy suy luận qua cmake -P gpt2.cmake. Mô hình đầy đủ tải các tệp safetensors, vocab và merges, chuyển đổi chúng bằng tools/gen_full.py, và thực thi gpt2_full.cmake với một prompt và số token.

Tất cả phép tính được thực hiện bằng điểm cố định Q16.16, tránh hoàn toàn các phép toán dấu phẩy động. Đây là lựa chọn có chủ đích để giữ cho việc triển khai mang tính xác định và di động trên các nền tảng nơi lệnh math() của CMake chỉ hỗ trợ số nguyên.

Tại sao điều này quan trọng

CMake không phải là ngôn ngữ đa dụng. Nó thiếu cấu trúc dữ liệu gốc, không có thư viện chuẩn cho mạng nơ-ron, và lệnh math() của nó bị giới hạn ở số nguyên 32-bit. Vậy mà dự án này vẫn triển khai được attention, các lớp feed-forward và tokenization—tất cả trong giới hạn đó.

Kết quả là minh chứng cho sự linh hoạt của chế độ scripting của CMake, nhưng cũng là lời nhắc rằng việc có thể làm không có nghĩa là nên làm. Mã có thể khó bảo trì và chậm, nhưng như một bài tập kỹ thuật thì nó rất ấn tượng.

Đánh đổi và hạn chế

Số học điểm cố định gây ra lỗi lượng tử hóa, có thể làm giảm chất lượng đầu ra so với suy luận dấu phẩy động. Mô hình đầy đủ yêu cầu tải xuống khoảng 500MB trọng lượng và tiền xử lý chúng, vì vậy nó không phải là bản demo nhẹ.

Hiệu suất là một mối quan tâm khác: script CMake được thông dịch, và ngay cả mô hình nhỏ cũng sẽ chạy chậm hơn triển khai gốc. Đây không phải là công cụ sản xuất—nó là một sự tò mò đẩy ranh giới của những gì hệ thống xây dựng có thể làm.

Đối với kỹ sư, bài học gồm hai phần: đó là một hack thú vị để nghiên cứu nếu bạn muốn hiểu mạng nơ-ron điểm cố định, và là câu chuyện cảnh báo về việc dùng sai công cụ cho công việc. Nếu bạn cần chạy GPT-2, hãy dùng runtime thực sự. Nếu bạn muốn gây ấn tượng với đồng nghiệp, đây là repo để chia sẻ.