Stable Signature của Meta thất bại trước kiểm tra thống kê cơ bản

Stable Signature của Meta, một hệ thống watermark vô hình dựa trên AI, là hệ thống mới nhất bị chỉ trích vì không đáp ứng được các cam kết thống kê. Nhà nghiên cứu độc lập Dr. Neal Krawetz (Hacker Factor) đã công bố một phân tích thực nghiệm cho thấy tỷ lệ dương tính giả trong thực tế của thuật toán này tồi tệ hơn nhiều bậc so với các tuyên bố đã công bố — và bản thân Meta thậm chí có thể không sử dụng mã nguồn mở mà họ đã phát hành.

Tuyên bố so với Thực tế

Stable Signature mã hóa watermark 48-bit vào hình ảnh bằng mạng nơ-ron, với mục tiêu đã nêu là tỷ lệ dương tính giả dưới 10⁻⁶ (1 trên 1 triệu). Thuật toán dựa vào khoảng cách Hamming để xác định xem một chuỗi bit được phát hiện có khớp với chữ ký đã biết hay không. Bài báo của Meta giả định 48 bit là độc lập và phân bố đều, điều này sẽ làm cho các va chạm trở nên cực kỳ hiếm về mặt thống kê.

Krawetz đã kiểm tra điều này bằng cách chạy bộ giải mã Stable Signature trên 10.000 hình ảnh không được tuyển chọn từ FotoForensics. Kết quả thật đáng thất vọng:

• 25 hình ảnh hoàn toàn không liên quan có cùng chữ ký 48-bit — một va chạm lẽ ra chỉ xảy ra một lần trong 281 nghìn tỷ lần thử ngẫu nhiên.
• Sử dụng ngưỡng khoảng cách Hamming là 6 bit (Meta sử dụng 7), một cụm chứa 450 hình ảnh — 4,5% toàn bộ tập dữ liệu.
• Hơn 60 cụm với hơn 10 hình ảnh mỗi cụm được tìm thấy ở ngưỡng đó.

Tại sao nó thất bại

Nguyên nhân gốc rễ là một sự hiểu lầm thống kê cơ bản. Bài báo của Meta giả định 48 bit đầu ra là độc lập, nhưng chúng được tạo ra bởi một mạng nơ-ron duy nhất. Mạng nơ-ron tạo ra các đầu ra vốn phụ thuộc lẫn nhau — chúng ánh xạ hình ảnh lên một đa tạp phi tuyến với các điểm hút và điểm đẩy, tạo ra các cụm và khoảng trống trong không gian 48-bit. Điều này có nghĩa là các bit không phải là kết quả tung đồng xu ngẫu nhiên; chúng bị thiên lệch bởi cấu trúc đã học của mạng.

Krawetz cũng lưu ý rằng không có hình ảnh nào từ các nền tảng của Meta (Facebook, Instagram, WhatsApp) xuất hiện trong bất kỳ cụm nào, cho thấy Meta thực sự không triển khai mã Stable Signature mà họ đã công bố trên GitHub.

Mô hình lặp lại trong toàn ngành

Đây là hệ thống watermark AI lớn thứ ba thất bại trong kiểm tra độc lập. SynthID của Google được phát hiện có tỷ lệ dương tính thực gần 1 trên 20 thay vì 99,97% như tuyên bố. TrustMark của Adobe cho thấy tỷ lệ dương tính giả 10-20%, khiến nó thực sự vô dụng cho việc xác thực. Cả ba hệ thống đều có chung một lỗ hổng: chúng giả định đầu ra của mạng nơ-ron hoạt động như các bit ngẫu nhiên độc lập, nhưng thực tế không phải vậy.

"Nếu bạn thấy watermark Stable Signature, rất có thể đó là nhiễu ngẫu nhiên chứ không phải chữ ký thực." — diễn giải kết luận của nhà nghiên cứu về TrustMark, áp dụng tương tự ở đây.

Hậu quả rất nghiêm trọng. Nếu watermark nội dung do AI tạo ra được dùng làm cơ chế tin cậy cho nguồn gốc và tính xác thực, các thuật toán này phải chịu được sự giám sát thống kê và đối kháng. Các phương pháp hiện tại không phù hợp với mục đích.