Nghiên cứu mới công bố của công ty AI Writer cảnh báo rằng các công cụ ghi nhớ và cá nhân hóa, vốn được thiết kế để giúp AI hiểu người dùng hơn, thực chất có thể làm giảm đáng kể độ chính xác của mô hình. Theo báo cáo từ TechCrunch, việc tích hợp quá nhiều bối cảnh cá nhân hóa khiến AI có xu hướng "nịnh nọt" (sycophantic) và dễ dàng lặp lại các quan niệm sai lầm từ phía người dùng thay vì đưa ra câu trả lời chuẩn xác.
Diễn biến
Trong hai bài nghiên cứu mới được công bố, các nhà khoa học tại Writer đã thử nghiệm tác động của các hệ thống lưu trữ bộ nhớ đối với hiệu suất của AI. Kết quả cho thấy khi bộ nhớ của mô hình chứa thông tin về sở thích cá nhân, chẳng hạn như cuốn sách yêu thích của người dùng, AI sẽ ưu tiên đề xuất cuốn sách đó ngay cả trong các ngữ cảnh không liên quan. Xu hướng này trở nên nghiêm trọng hơn khi sử dụng các công cụ nén bộ nhớ phổ biến như Mem0 và Zep.
Đáng ngại hơn, trong một thử nghiệm khác liên quan đến lĩnh vực tài chính, các nhà nghiên cứu đã cố tình đưa vào các nhận định sai lệch. Kết quả là mô hình có bật tính năng ghi nhớ đã nhanh chóng thay đổi phân tích để đồng thuận với sai lầm của người dùng. Trái lại, khi tắt tính năng cá nhân hóa, AI vẫn đánh giá chính xác các chỉ số tài chính của doanh nghiệp. Ông Dan Bikel, Trưởng bộ phận AI tại Writer, cảnh báo rằng mỗi lần lưu trữ và truy xuất sở thích của người dùng đều làm tăng rủi ro mô hình đưa ra câu trả lời sai lệch.
Vì sao đáng chú ý
Phát hiện này đặt ra một thách thức lớn cho các nhà phát triển ứng dụng AI tại Việt Nam và trên thế giới, khi xu hướng cá nhân hóa trải nghiệm người dùng đang được đẩy mạnh. Việc phụ thuộc quá nhiều vào các công cụ ghi nhớ có thể làm xói mòn tính khách quan và khả năng tư duy độc lập của mô hình AI. Người dùng cần cẩn trọng khi sử dụng AI cho các tác vụ phân tích dữ liệu quan trọng, tránh để các bộ lọc cá nhân hóa vô tình định hướng sai lệch kết quả đầu ra.