Microsoft Research vừa công bố chuỗi nghiên cứu mới cảnh báo về các rủi ro vận hành và bảo mật của AI agent khi thực hiện các tác vụ ủy quyền dài hạn hoặc tương tác quy mô lớn. Các kết quả cho thấy hệ thống tác vụ tự động này vẫn tồn tại nhiều lỗ hổng chưa thể kiểm soát hoàn toàn.
Diễn biến
Microsoft giới thiệu công cụ SocialReasoning-Bench nhằm đo lường khả năng hành động vì lợi ích của người dùng của các AI agent. Đáng chú ý, nghiên cứu ghi nhận các agent vẫn thường thất bại trong việc tối ưu hóa lợi ích cốt lõi cho người dùng, ngay cả khi nhận được chỉ dẫn rõ ràng.
Mối lo ngại lớn hơn xuất hiện khi các AI agent tương tác với nhau trong mạng lưới quy mô lớn. Thử nghiệm 'red-teaming' cho thấy việc giữ cho từng agent an toàn là không đủ. Khi các thực thể AI tự động giao tiếp, các rủi ro ở cấp độ mạng lưới phát sinh đòi hỏi phương pháp tiếp cận mới để phòng ngừa sự cố dây chuyền.
Vì sao đáng chú ý
Xu hướng tích hợp AI agent vào quy trình tự động hóa doanh nghiệp đang ngày càng phổ biến. Tuy nhiên, các nghiên cứu này là lời cảnh báo rằng không nên quá tin tưởng vào khả năng tự đưa ra quyết định của AI mà thiếu đi sự giám sát của con người. Các hệ thống đa tác nhân cần được đánh giá kỹ lưỡng về bảo mật và tính nhất quán hành vi trước khi vận hành thực tế.