Mã sạch không giúp AI Agent vượt qua bài kiểm tra, nhưng tiết kiệm token

Một bài báo từ các nhà nghiên cứu tại SonarSource giải quyết một câu hỏi đang làm đau đầu các đội ngũ áp dụng AI coding agent: liệu độ sạch của codebase có quan trọng khi LLM là người thực hiện thay đổi? Câu trả lời ngắn gọn là có—nhưng không theo cách bạn nghĩ.

Giao thức cặp tối thiểu

Các tác giả, Priyansh Trivedi và Olivier Schmitt, đã xây dựng sáu cặp kho lưu trữ giống hệt nhau về chức năng nhưng khác nhau về chất lượng mã. Mỗi cặp khớp về kiến trúc, phụ thuộc và hành vi bên ngoài, nhưng khác biệt về vi phạm quy tắc phân tích tĩnh và độ phức tạp nhận thức. Các cặp được xây dựng theo cả hai hướng: một số bắt đầu sạch và bị suy giảm, một số khác bắt đầu lộn xộn và được làm sạch.

Sau đó, họ tạo ra 33 nhiệm vụ trên các cặp này và chạy 660 thử nghiệm sử dụng Claude Code. Đánh giá đo lường tỷ lệ đậu dựa trên các bài kiểm tra ẩn ở bề mặt công khai của ứng dụng, cùng với mức tiêu thụ token và mô hình truy cập lại tệp.

Tỷ lệ đậu không đổi, nhưng chi phí giảm

Phát hiện chính: độ sạch của mã không thay đổi tỷ lệ đậu của agent. Dù sạch hay bẩn, agent hoàn thành nhiệm vụ với cùng tỷ lệ. Tuy nhiên, dấu chân hoạt động thay đổi đáng kể. Các agent làm việc trên mã sạch hơn sử dụng ít hơn 7–8% token và giảm 34% số lần truy cập lại tệp.

Đó là một khoản tiết kiệm chi phí đáng kể, đặc biệt cho các đội ngũ chạy agent ở quy mô lớn. Mức tiêu thụ token trực tiếp chuyển thành chi phí API, và ít lần truy cập lại tệp hơn đồng nghĩa với chu kỳ lặp nhanh hơn.

Điều này có nghĩa gì cho các đội ngũ kỹ thuật

Kết quả cho thấy các nguyên tắc bảo trì truyền thống không lỗi thời trong thời đại phát triển do AI dẫn dắt—chúng chỉ phục vụ một mục đích khác. Mã sạch không làm cho agent thông minh hơn, nhưng làm cho agent rẻ hơn và hiệu quả hơn. Điều này cùng với lựa chọn mô hình, thiết kế harness và prompting trở thành yếu tố ảnh hưởng đáng kể đến hành vi của agent.

Đối với các đội ngũ đã đầu tư vào công cụ chất lượng mã (SonarQube, linters, v.v.), đây là sự xác nhận rằng những khoản đầu tư đó mang lại lợi ích ngay cả khi AI thực hiện việc viết mã. Đối với các đội ngũ lơ là vệ sinh mã, đây là một điểm dữ liệu cho thấy độ sạch có tác động thực sự, có thể đo lường được đến chi phí vận hành.

Bài báo là một liều lượng chặt chẽ thực nghiệm đáng hoan nghênh trong một không gian bị chi phối bởi cảm tính và tuyên bố từ nhà cung cấp. Đây không phải là một kết quả đột phá, nhưng là một kết quả hữu ích—và nó chỉ ra một cách tiếp cận có hệ thống hơn để đánh giá cách các đặc điểm của codebase ảnh hưởng đến hiệu suất của AI agent.