Xây dựng Bộ phân loại Bình luận AI Tốt hơn: Bài học từ Bộ dữ liệu 30 Đô la mà Chi phí Cao hơn Nhiều

Phát hiện một bình luận mã được viết bởi con người hay LLM là một vấn đề ngách nhưng ngày càng liên quan. Một nhà phát triển gần đây đã xây dựng lại bộ phân loại bình luận AI của họ từ đầu, lần này trên dữ liệu công khai và nền tảng vững chắc hơn, và chia sẻ chi tiết đau đớn về những gì cần thiết.

Số liệu Hiệu suất

Chỉ số chính là độ chính xác cân bằng 77% trên xác thực chéo. Điều đó có nghĩa là bộ phân loại đưa ra phán đoán đúng về người-vs-rô-bốt 77% thời gian khi bình luận của con người và rô-bốt có khả năng như nhau. Bộ phân loại cũng xuất ra xác suất đã hiệu chuẩn, vì vậy bạn có thể đọc độ tin cậy như khả năng đúng thực sự.

Trên một bộ kiểm tra thủ công nhỏ với các bình luận thực tế, độ chính xác tăng lên 88%, cho thấy các trường hợp thực tế thực sự dễ phân biệt hơn dữ liệu huấn luyện tổng hợp. Ma trận nhầm lẫn cho thấy tỷ lệ dương tính thật là 80% cho bình luận rô-bốt và tỷ lệ âm tính thật là 73% cho bình luận con người trên bộ xác thực chéo.

Nhưng tác giả cảnh báo không nên quá tập trung vào tỷ lệ lỗi tổng hợp. Vì bộ phân loại đã được hiệu chuẩn, bạn có thể tin tưởng điểm tin cậy cho từng dự đoán. Khi độ tin cậy từ 80% trở lên, tỷ lệ dương tính giả giảm xuống 5%. Khi khoảng 50%, về cơ bản bạn đang đoán.

Thu thập Dữ liệu: Chi tiết là Quan trọng

Bộ dữ liệu được xây dựng bằng cách kéo các kho lưu trữ có giấy phép cho phép, kiểm tra một commit năm 2021, trích xuất bình luận của con người, sau đó cho LLM tạo bình luận mới cho cùng các tệp đó. Mục tiêu là cân bằng số lượng token giữa các lớp để tránh rò rỉ chủ đề.

Tác giả liệt kê một số sai lầm đã biến bộ dữ liệu 30 đô la lý thuyết thành một nỗ lực đắt đỏ hơn nhiều:

• Vô tình sử dụng các tệp nguồn khác nhau cho mỗi LLM, gây rò rỉ chủ đề.
• Tạo bình luận LLM cho các tệp có rất ít bình luận của con người, lại rò rỉ chủ đề.
• Không loại bỏ docstring, cho phép LLM bắt chước phong cách của kho lưu trữ.
• Thiếu cú pháp bình luận trong một số ngôn ngữ, để lại nhiễu.
• Không lọc các bình luận rất ngắn của con người như "cấu trúc nhiệm vụ chính" hoặc "chIcon" — dạy bộ phân loại rằng con người viết kém.
• Sử dụng một prompt cố định cho việc tạo LLM, thu hẹp sự đa dạng của bộ dữ liệu.

Một số trong những điều này có thể sửa bằng tiền xử lý, nhưng những điều khác yêu cầu tạo lại hoàn toàn. Tác giả lưu ý rằng sức mạnh của bộ phân loại tỷ lệ với logarit của số tiền chi tiêu, vì vậy lợi nhuận giảm dần nhanh chóng.

Đánh giá Đặc trưng

Thay vì huấn luyện toàn diện trên tất cả các tập con đặc trưng (hơn 30.000 bộ phân loại cho 15 đặc trưng), tác giả sử dụng một phương pháp có hướng dẫn: huấn luyện bộ phân loại trên từng đặc trưng riêng lẻ cho các nhiệm vụ phân biệt khác nhau (người vs. rô-bốt, Claude vs. Grok, GPT vs. Gemini) và xếp hạng các đặc trưng theo sức mạnh riêng lẻ của chúng.

Biểu đồ kết quả cho thấy xếp hạng đặc trưng với các mũi tên chỉ ra sự đồng thuận giữa các so sánh. Các đặc trưng như bigwords (phân số của các từ dài hơn 5 chữ cái) và wordlen (phân phối độ dài từ) là các dấu hiệu phong cách cổ điển nhưng là bộ phân biệt yếu khi đứng một mình.

Tác giả cũng xây dựng một giao diện tương tác nơi bạn có thể nhấp vào bất kỳ phần nào của bình luận được phân loại để xem đặc trưng nào được kích hoạt và chúng đóng góp như thế nào vào phán đoán — một công cụ gỡ lỗi tuyệt vời làm cho lý luận của bộ phân loại trở nên minh bạch.

Phạm vi và Hạn chế

Bộ phân loại chỉ được huấn luyện trên các bình luận mã. Nó có thể xử lý các loại văn bản khác, nhưng độ chính xác không được đảm bảo. Tác giả không hứa hẹn gì ngoài lĩnh vực đó.