Tìm kiếm những tổ hợp hàng tạp hóa kỳ lạ nhất với 3 triệu đơn hàng Instacart và chỉ số hài hước

Đâu là tổ hợp mặt hàng kỳ lạ nhất mà ai đó có thể mua tại cửa hàng tạp hóa? Đó là câu hỏi mà Roger Dickey đặt ra để trả lời bằng cách đào sâu vào bộ dữ liệu mã nguồn mở của Instacart gồm 3 triệu đơn hàng. Kết quả là một bài tập kỹ thuật thú vị về phân tích dữ liệu, phân loại và một chút chấm điểm hài hước.

Từ dữ liệu thô đến các cặp có ý nghĩa

Bộ dữ liệu chứa hơn 3,2 triệu đơn hàng với khoảng 10 mặt hàng mỗi đơn, bao gồm gần 50.000 sản phẩm độc nhất trên 134 lối đi. Cách tiếp cận ngây thơ—chỉ đếm số lần xuất hiện cùng nhau—thất bại vì 97% các cặp sản phẩm không bao giờ xuất hiện cùng nhau, và 22 triệu cặp chỉ xuất hiện đúng một lần. Sắp xếp theo tần suất thô cho bạn kết quả nhàm chán như chuối và các loại hạt hỗn hợp.

Dickey chuyển sang xếp hạng theo lift: số lần xuất hiện cùng nhau thực tế chia cho số lần xuất hiện cùng nhau kỳ vọng. Điều này làm nổi bật các cặp không có khả năng xảy ra về mặt thống kê, nhưng vẫn không hài hước—như chuối hữu cơ và chuối không hữu cơ trong cùng một giỏ hàng.

Độ chi tiết là kẻ thù

50.000 sản phẩm quá chi tiết (28 mã SKU bao cao su, 110 biến thể táo), trong khi 134 lối đi quá rộng. Giải pháp là ontology GS1 Global Product Classification (GPC), nhóm các sản phẩm thành khoảng 1.700 viên gạch (ví dụ: nấm chanterelles, nấm morels). Một bộ phân loại hai giai đoạn—nhúng qua qwen3-embedding:8b để chọn lọc sơ bộ, sau đó gpt-4.1-mini để chọn lọc cuối cùng—đã ánh xạ tất cả sản phẩm vào các viên gạch với chi phí khoảng 5 đô la.

Với các viên gạch, phân tích dựa trên lift cuối cùng đã tạo ra các cặp không hiển nhiên: rượu vang và ngũ cốc đông lạnh, rượu mạnh và chà là, bia và lá baby.

Thêm chỉ số hài hước

Nhưng hiếm về mặt thống kê không có nghĩa là hài hước. Dickey đã yêu cầu Claude chấm điểm từng viên gạch trong số khoảng 1.000 viên gạch hàng tạp hóa trên thang điểm hài hước 0–1 dựa trên tiềm năng cấm kỵ hoặc hài hước. Bao cao su, chất bôi trơn thân mật và thuốc xổ đạt điểm 0,7–1,0; sữa và thảo mộc gần như bằng không. Kết hợp lift thấp với chỉ số hài hước cao sẽ tạo ra những tổ hợp thực sự kỳ quặc—như bao cao su và táo—khiến nhân viên thu ngân phải cười khúc khích.

Bản đồ đầy đủ từ sản phẩm đến viên gạch và điểm hài hước có sẵn dưới dạng gist. Đây là một ví dụ gọn gàng về cách một chút kỹ thuật—nhúng, phân loại LLM và hàm chấm điểm tùy chỉnh—có thể biến một bộ dữ liệu trần tục thành thứ gì đó thực sự thú vị.