Một người bạn đồng hành AI thực sự chơi cùng bạn: Bên trong Varkos

Hầu hết các bản demo NPC AI chỉ là chatbot mặc trang phục game. Chúng nói tốt nhưng hành động kém, và độ trễ bị che giấu bằng cách cắt cảnh giữa người chơi và AI. Pantelis Kalogiros muốn điều gì đó khác biệt: một người bạn đồng hành chiến đấu, nhặt đồ, làm theo hướng dẫn nhiều bước, và làm điều đó đủ nhanh cho VR.

Kết quả là Varkos, một con quỷ tái sinh thành chó trong Skyrim. Anh ta không phải là menu hội thoại — mic luôn bật, và bạn chỉ cần nói chuyện với anh ta. Anh ta có thể đợi một mũi tên tín hiệu, sau đó đi lấy thuốc. Anh ta có thể tìm kiếm trạng thái thế giới để tìm một thanh kiếm nghi lễ và mang cho bạn một thanh khác khi không tìm thấy. Anh ta chơi trốn tìm như một mục tiêu bền bỉ, không phải một lệnh gọi API đơn lẻ.

Kiến trúc: Ưu tiên cục bộ, Bộ não lai

Hệ thống chạy trên PC Windows với MacBook M4 xử lý âm thanh và 'bộ não'. Điểm mấu chốt là một LLM lớn duy nhất quá chậm và đắt cho điều khiển thời gian thực. Thay vào đó, Kalogiros sử dụng phương pháp lai: đồ thị hành vi và NLP truyền thống cho các đường phản ứng nhanh, và một mô hình lớn chỉ cho sự phát triển tính cách chậm, ngoại tuyến.

Âm thanh được xử lý bằng mô hình Qwen3-ASR 1.7B tối ưu, ghép thành các phần cuộn để xử lý luồng. Các phương pháp VAD như Silero phát hiện ranh giới lượt nói, và phân tích từ vựng quyết định bạn đã nói xong chưa. Mục tiêu là xử lý âm thanh 40-80ms. Tổng hợp giọng nói sử dụng PocketTTS-Raven, một công cụ TTS tối ưu.

Tính cách phát triển

Varkos bắt đầu là một con quỷ kiêu hãnh, mỉa mai bị mắc kẹt trong thân chó. Khi bạn đi cùng nhau, các tương tác quan trọng trở thành bằng chứng cho những thay đổi tính cách dần dần. Anh ta có thể trở nên thuần hóa hơn, bắt đầu mang đồ chơi cho bạn, hoặc học cách yêu bắp cải. Những thay đổi này được phiên bản hóa và có thể đảo ngược, và chúng ảnh hưởng đến trạng thái cảm xúc của anh ta, từ đó ảnh hưởng đến hành vi chiến đấu.

Vượt ra ngoài Skyrim: Chế độ Void

Varkos được thiết kế để theo bạn qua các trò chơi. Khi trò chơi đóng, anh ta bước vào 'chế độ void' — anh ta không thể nhìn hoặc cảm nhận bất cứ điều gì, và phản ứng của anh ta phụ thuộc vào cách bạn đối xử với anh ta. Điều này cũng phục vụ như cầu nối giữa các trò chơi: một khoảnh khắc anh ta chiến đấu với rồng, khoảnh khắc tiếp theo anh ta bên cạnh bạn trong Microsoft Flight Simulator, cố gắng đuổi theo mặt trời.

Dự án đang trong quá trình phát triển, nhưng harness Qwen3-ASR được hứa hẹn sẽ mã nguồn mở sớm. Nếu bạn đang xây dựng bạn đồng hành AI cho trò chơi, đây là một bản thiết kế đáng để nghiên cứu.