MakerChecker: Lớp bảo mật mã nguồn mở cho tác nhân AI

MakerChecker là một lớp bảo mật mã nguồn mở được thiết kế để mang lại khả năng quản trị cho các tác nhân AI. Nó nằm giữa tác nhân và các lệnh gọi công cụ của nó, thực thi quyền từ chối theo mặc định, yêu cầu phê duyệt của con người đối với các hành động rủi ro cao và duy trì dấu vết kiểm toán chống giả mạo. Dự án cung cấp một trình quét tĩnh để xác định các khả năng rủi ro của tác nhân, một thư viện nhúng để bao bọc các công cụ bằng cơ chế quản trị và một máy chủ tự lưu trữ tùy chọn để thực thi và xem xét tập trung.

Cách thức hoạt động

MakerChecker được cấu trúc xoay quanh ba gói độc lập. Trình quét tĩnh (mc scan) phân tích mã tác nhân để phân loại hành động theo mức độ rủi ro, đánh dấu các thao tác như xóa dữ liệu, di chuyển tiền hoặc thực thi lệnh shell. Thư viện nhúng (@makerchecker/embedded) cho phép nhà phát triển xác định vai trò, kỹ năng và tác nhân, sau đó bao bọc các lệnh gọi công cụ để chỉ các hành động được cấp phép mới thực thi. Máy chủ tự lưu trữ cung cấp hộp thư phê duyệt của con người, bảng điều khiển xem xét và nhật ký kiểm toán có thể xác minh.

Tính năng chính

• Thực thi từ chối theo mặc định: Tác nhân chỉ có thể thực thi các kỹ năng được cấp phép rõ ràng cho vai trò của chúng. Các lệnh gọi không được phép sẽ bị từ chối trước khi thực thi.
• Phê duyệt có sự tham gia của con người: Các hành động rủi ro cao yêu cầu phê duyệt riêng của con người, ngăn tác nhân tự phê duyệt công việc của chúng.
• Nhật ký kiểm toán được ký mật mã: Mọi quyết định và lệnh gọi công cụ đều được ghi lại trong nhật ký được ký Ed25519 và xâu chuỗi băm. Giả mạo sẽ phá vỡ xác minh và các gói có thể được xác minh ngoại tuyến.
• Tích hợp khung: Các bộ kết nối sẵn sàng cho LangChain, Claude Agent SDK và SDK TypeScript/Python giúp dễ dàng thêm cơ chế quản trị vào các quy trình làm việc tác nhân hiện có.

Trường hợp sử dụng

Dự án bao gồm một số triển khai ví dụ, chẳng hạn như xử lý trường hợp cảnh giác dược, phân loại khiếu nại thiết bị y tế, truy cập bệnh nhân ung thư và đối chiếu tiền mặt hàng ngày. Những ví dụ này cho thấy MakerChecker có thể thực thi phân chia nhiệm vụ và tuân thủ quy định trong các triển khai tác nhân thực tế như thế nào.

Bắt đầu

Để quét mã nguồn tác nhân hiện có để tìm rủi ro, chạy npx @makerchecker/scan .. Để nhúng cơ chế quản trị vào tác nhân mới, cài đặt @makerchecker/embedded và xác định vai trò và kỹ năng. Để thực thi tập trung với hộp thư phê duyệt của con người, chạy docker compose up để khởi động máy chủ tự lưu trữ. Dự án có sẵn theo giấy phép kép (Apache 2.0 cho mục đích phi sản xuất, thương mại cho sản xuất).