2,6 tỷ bản phác thảo cho thấy lý do LLM bỏ lỡ sắc thái văn hóa

Các nhà nghiên cứu tại MIT và các tổ chức khác đã công bố một nghiên cứu phân tích 2,6 tỷ bản phác thảo vẽ tay về các khái niệm phổ biến từ 236 quốc gia. Bài báo, được đăng trên arXiv, lập luận rằng các mô hình dựa trên văn bản—bao gồm cả các mô hình ngôn ngữ lớn—nén mất đi sự biến đổi văn hóa và thể nghiệm phong phú mà biểu diễn trực quan bảo tồn.

Họ đã làm gì

Nhóm nghiên cứu đã sử dụng dữ liệu từ một trò chơi vẽ trực tuyến phổ biến (nghĩ đến Quick, Draw!) nơi người dùng được yêu cầu phác thảo một khái niệm như "chó" hoặc "nhà" trong vòng chưa đầy 20 giây. Họ đã huấn luyện các mô hình nhúng trên các bản phác thảo này và so sánh hình học kết quả với các nhúng từ từ các mô hình ngôn ngữ đa ngôn ngữ.

Phát hiện chính

Ba kết quả nổi bật đối với bất kỳ ai xây dựng hoặc đánh giá hệ thống AI:

• Các khái niệm không phổ quát. Ngay cả đối với một từ đơn lẻ như "bánh mì," người từ các nền văn hóa khác nhau vẽ những mẫu vật rất khác nhau—một ổ bánh mì baguette so với một cái naan so với một lát bánh mì cắt. Sự biến đổi lớn nhất đối với các khái niệm liên quan đến chạm hoặc thao tác (ví dụ: "búa," "cốc"), gợi ý rằng trải nghiệm thể chất thúc đẩy trí tưởng tượng thị giác hơn là định nghĩa từ điển.
• Các nhúng thị giác khác biệt với nhúng văn bản. Cấu trúc hình học của các nhúng phác thảo nắm bắt các mối quan hệ ngữ nghĩa và văn hóa mà các nhúng từ nén mất. Khoảng cách xuyên văn hóa từ phác thảo phù hợp chặt chẽ hơn 45% với các chỉ số văn hóa đã được thiết lập so với khoảng cách từ nhúng văn bản.
• Các mô hình ngôn ngữ làm phẳng sự đa dạng. Các tác giả lập luận rằng vì từ ngữ là các quy ước chia sẻ nén sự biến đổi cá nhân, bất kỳ hệ thống nào được huấn luyện chỉ trên văn bản sẽ đánh giá thấp một cách có hệ thống mức độ khác nhau mà mọi người khái niệm hóa cùng một thứ.

Tại sao điều này quan trọng đối với kỹ sư AI

Nếu bạn đang xây dựng các mô hình đa phương thức, pipeline RAG, hoặc bất kỳ hệ thống nào tuyên bố hiểu các khái niệm của con người, bài báo này là một nhãn cảnh báo. Dữ liệu huấn luyện chỉ bằng văn bản kế thừa một thiên kiến hướng tới các biểu diễn đồng thuận. Một mô hình chưa từng thấy bản phác thảo của một "đôi giày" từ một nền văn hóa nơi giày được tháo ra trước khi vào nhà sẽ có một khái niệm hẹp hơn so với một con người.

Công trình cũng gợi ý một con đường thực tế phía trước: các nhúng phác thảo có thể phục vụ như một tín hiệu neo đậu phong phú hơn cho các mô hình đa phương thức, có khả năng cải thiện độ mạnh mẽ xuyên văn hóa. Bộ dữ liệu đã công khai, vì vậy không có gì ngăn cản các nhóm kết hợp loại dữ liệu này vào pipeline huấn luyện hoặc đánh giá.

Bài báo là một lời nhắc nhở rằng "khái niệm" không phải là một thứ ổn định—nó là một hàm của phương thức, văn hóa và thể nghiệm. Bỏ qua điều đó có nghĩa là phát hành các mô hình ngu hơn vẻ ngoài của chúng trên bảng xếp hạng.