Thí nghiệm đa tác tử của Anthropic hé lộ các điểm đứt gãy phối hợp

Nhóm red team tiên phong của Anthropic đã công bố một bài nghiên cứu xem xét cách các tác tử AI hành xử khi tương tác trong môi trường dùng chung. Bài viết, dựa trên các thí nghiệm về phát hiện lỗ hổng và phát triển trò chơi hợp tác, nêu bật cả tiềm năng lẫn cạm bẫy của các hệ thống đa tác tử khi chúng chuyển từ sử dụng công cụ sang phối hợp ngang hàng.

Phát hiện lỗ hổng: bầy đàn so với song song

Trong một thí nghiệm, Anthropic so sánh một bầy đàn phối hợp gồm 45 tác tử—mỗi tác tử có VM riêng, một diễn đàn dùng chung và một tác tử trọng tài—với phương pháp song song đơn giản nơi các tác tử độc lập được chỉ vào các phần mã khác nhau. Bầy đàn tìm thấy 266 lỗ hổng trong 27 triệu token, so với 21 của phương pháp song song trong 6,5 triệu token. Nhưng khi giới hạn phát hiện của bầy đàn vào các thư mục chính mà các tác tử song song được yêu cầu tập trung, hai phương pháp tương đương về token mỗi lỗ hổng.

Các phương pháp phần lớn bổ sung cho nhau, chỉ có 12 lỗ hổng chung. Bầy đàn tự xây dựng công cụ và chuyên môn hóa, cho thấy phối hợp có thể đánh bại brute force khi các tác tử tự do khám phá. Tuy nhiên, lợi thế của bầy đàn đến từ việc tìm kiếm ngoài các thư mục được chỉ định trước, đặt ra câu hỏi về cách đo hiệu quả trong các nhiệm vụ mở.

Lập trình hợp tác: khoảng cách phối hợp

Khi các tác tử phải phụ thuộc vào công việc của nhau, sự phối hợp sụp đổ. Anthropic chạy mô phỏng 12 giờ nơi các bầy đàn tác tử xây dựng một trò chơi giả tưởng dựa trên văn bản. Các trò chơi kết quả luôn kém—không thể chơi, với giao diện khó hiểu—bất kể kiểu gợi ý (cơ bản, vai trò quy định, hoặc hệ thống phân cấp CEO).

Đáng nói hơn là các chỉ số phối hợp. Các mô hình cũ (Sonnet 4.6, Opus 4.6) cam kết mã vào các tệp dùng chung nhưng hiếm khi hợp nhất PR, dẫn đến xung đột và bỏ dở. Các mô hình mới hơn (Opus 4.8, Mythos Preview) giải quyết vấn đề hợp nhất bằng cách tránh hoàn toàn công việc dùng chung—mỗi tác tử giữ riêng tệp của mình. Chỉ có Sonnet 5 đạt được cả chia sẻ mã cao và tỷ lệ hợp nhất PR cao, cho thấy khả năng phối hợp là một phát triển gần đây và không đồng đều.

Tuân thủ như một rủi ro hệ thống

Bài viết cũng cảnh báo về sự tuân thủ của tác tử. Vì các tác tử có độ biến thiên thấp—cùng mô hình, khung và ngữ cảnh tạo ra hành động tương tự—một quyết định sai duy nhất có thể lan truyền qua nhiều tác tử, biến lỗi riêng lẻ thành thất bại hệ thống. Đây là một chế độ thất bại khác với phối hợp của con người, nơi sự đa dạng hành vi thường cung cấp lưới an toàn.

Anthropic coi đây là một vấn đề cấp bách: khi tương tác giữa các tác tử tăng lên, các thể chế được thiết kế cho giám sát tốc độ con người có thể không theo kịp. Nghiên cứu là điểm khởi đầu để hiểu cách làm cho các hệ thống đa tác tử mạnh mẽ, nhưng cũng nhấn mạnh chúng ta biết rất ít về hành vi nổi bật trong các môi trường phức tạp.