Thiên thần hộ mệnh: Luận điểm về các LLM cá nhân hóa mô phỏng bạn

Gwern.net đã đăng một bài luận chi tiết đề xuất một mô hình mới cho việc cá nhân hóa LLM: Thiên thần hộ mệnh (Guardian Angels - GAs). Ý tưởng cốt lõi là tạo ra các LLM bản sao kỹ thuật số không chỉ hỗ trợ mà còn mô phỏng tính cách, giá trị và sở thích của một người dùng duy nhất. Đây không phải là xây dựng một chatbot tốt hơn; mà là giải quyết vấn đề nguyên lý-đại lý bằng cách làm cho đại lý phù hợp nhất có thể với nguyên lý.

Tại sao các chatbot hiện tại thất bại

Gwern lập luận rằng các chatbot ngày nay mắc phải những sai lệch cơ bản. Chúng bị sụp đổ chế độ, lười biếng, mong manh, quá hữu ích và mất trí nhớ. Những vấn đề này bắt nguồn từ các hạn chế sau huấn luyện, trọng số đông lạnh và thu thập dữ liệu thụ động ngoại tuyến. Kết quả là một công cụ không thể khuếch đại người lao động tri thức và nguy hiểm trong các bối cảnh tác nhân.

Cách tiếp cận Thiên thần hộ mệnh

Một GA không phải là một trợ lý đa năng. Nó là một mô hình cá nhân hóa học cách mô phỏng đầu ra của người dùng với chất lượng cao hơn. Nó đáng tin cậy vì nó chia sẻ giá trị và mục tiêu của người dùng. Nó an toàn vì nó được kết nối cứng với một người dùng duy nhất, độc nhất, tránh các vấn đề 'phó bị nhầm lẫn' và làm cho các cuộc tấn công prompt trở nên vô lý.

Các thành phần kỹ thuật

Gwern đề xuất một sự kết hợp các kỹ thuật để xây dựng GA:

• Học trực tuyến thông qua đánh giá động để cập nhật LLM theo thời gian thực, tránh sự thiếu hiểu biết và lỗi chết người.
• Học chủ động bằng cách truy vấn nguyên lý để sửa lỗi và dữ liệu sở thích, đạt được độ hối tiếc thấp từ các ràng buộc kiểu DAgger.
• Học sở thích để nắm bắt các giá trị tinh tế của người dùng.
• Mô phỏng tính cách để sao chép phong cách và ra quyết định độc đáo của người dùng.
• UX CLI địa phương đầu tiên với ghi nhật ký nặng để minh bạch và kiểm soát.

Các trường hợp sử dụng và bảo mật

GA có thể sàng lọc tất cả tin nhắn để chống lại các cuộc tấn công tiên tiến, chẳng hạn như tuyên truyền phương tiện tổng hợp hoặc tấn công lừa đảo có mục tiêu. Chúng có thể xử lý các tác vụ thường ngày trong khi người dùng tập trung vào việc xác định điều gì đáng làm. Gwern gợi ý rằng đây có thể là một startup, ban đầu nhắm vào người dùng cao cấp như CEO và nhà nghiên cứu, trước khi tiến ra thị trường đại chúng.

Tại sao điều này quan trọng ngay bây giờ

Khi các LLM được triển khai ở quy mô toàn cầu, việc thiếu một tầm nhìn mạch lạc về cá nhân hóa và bảo mật là một khoảng trống quan trọng. Đề xuất của Gwern là một con đường cụ thể, có cơ sở kỹ thuật để tiến lên. Nó không giải quyết tất cả các vấn đề về căn chỉnh AI, nhưng nó cung cấp một chiến lược phòng thủ theo chiều sâu thực tế cho từng cá nhân con người.

Kết luận

Thiên thần hộ mệnh là một tầm nhìn khiêu khích, được lập luận chặt chẽ cho thế hệ ứng dụng LLM tiếp theo. Nó xứng đáng nhận được sự chú ý nghiêm túc từ bất kỳ ai đang xây dựng các công cụ AI cho người lao động tri thức hoặc đang suy nghĩ về bảo mật AI.