Tại hội nghị VB Transform 2026 diễn ra vào tháng 7/2026, các nhà lãnh đạo từ LangChain, Conviva và CoreWeave đã chỉ ra một nghịch lý lớn trong phát triển AI: một cuộc hội thoại của AI agent trông có vẻ hoàn hảo nhưng sản phẩm thực tế vẫn có thể bị hỏng. Sự lệch pha này đang thúc đẩy các doanh nghiệp thay đổi cách đánh giá AI agent, chuyển từ chấm điểm riêng lẻ sang so sánh theo nhóm người dùng.
Bối cảnh & Nguyên nhân
Việc các nhóm phát triển rơi vào trạng thái "tê liệt đánh giá" (eval paralysis) trước khi phát hành sản phẩm là một thực tế phổ biến hiện nay. Theo ông Harrison Chase, CEO của LangChain, nhiều đội ngũ cố gắng xây dựng một bộ kiểm thử toàn diện và trì hoãn ra mắt sản phẩm cho đến khi nó hoàn hảo, trong khi các đội ngũ xuất sắc nhất thường chọn cách ra mắt trước rồi lặp đi lặp lại cải tiến dựa trên thực tế. Tương tự, ông Emmanuel Turlay từ CoreWeave chia sẻ kinh nghiệm thực tế khi cố gắng đạt 100% độ bao phủ kiểm thử (coverage) nhưng hệ thống vẫn gặp lỗi nghiêm trọng sau khi đưa vào vận hành thực tế.
Phân tích kỹ thuật & Công nghệ
Điểm yếu của phương pháp đánh giá truyền thống là phân tích các chuỗi hội thoại (traces) một cách cô lập. Ông Hui Zhang, CTO của Conviva, đề xuất phương pháp "phân tích tương phản" (contrastive analysis) bằng cách so sánh các nhóm người dùng với một mức cơ sở (baseline). Ví dụ, một khách hàng mua giày chạy bộ thành công sau khi trả lời các câu hỏi của AI agent có vẻ là một tương tác tốt, nhưng nếu tỷ lệ câu hỏi làm rõ (clarification ratio) của nhóm này cao gấp ba lần mức bình thường, hệ thống rõ ràng đang gặp vấn đề về hiệu suất mà việc chấm điểm đơn lẻ không thể phát hiện. Ngoài ra, việc tinh chỉnh các mô hình nhỏ hơn như Qwen của Alibaba thông qua chưng cất tri thức (distillation) đã giúp LangChain giảm chi phí từ 10 đến 100 lần so với việc sử dụng các mô hình lớn như Claude Sonnet để làm giám khảo đánh giá.
Ý kiến chuyên gia & Nhận định
Cuộc tranh luận giữa phương pháp tự động (LLM-as-judge hoặc Agent-as-judge) và đánh giá bằng con người vẫn chưa có hồi kết. Ông Zhang nhận định: "Bạn có các phương pháp đánh giá có khả năng mở rộng tốt nhưng thiếu tính thực tế, dù là dùng agent hay LLM làm giám khảo". Trong khi đó, việc duy trì yếu tố con người (human-in-the-loop) vẫn cực kỳ quan trọng đối với các lĩnh vực nhạy cảm như pháp lý, tài chính hay y tế. Ông Turlay nhấn mạnh rằng trước khi có thể hoàn toàn loại bỏ con người khỏi quy trình phê duyệt chịu trách nhiệm pháp lý, ngành công nghiệp vẫn còn một chặng đường dài phía trước.
Tác động & Tương lai
Xu hướng chuyển dịch sang các mô hình giám khảo nhỏ gọn, chuyên biệt hóa và tối ưu chi phí đang định hình lại cách xây dựng ứng dụng AI. Độc giả Việt Nam và các kỹ sư phát triển cần nhận ra rằng các tiêu chí đánh giá giờ đây đóng vai trò như một tài liệu yêu cầu sản phẩm (PRD) động, thay đổi liên tục theo phản hồi thực tế của người dùng. Việc kết hợp giữa giám sát trực tuyến diện rộng và can thiệp thủ công của con người ở các tình huống biên (corner cases) sẽ là chìa khóa để xây dựng các hệ thống AI agent đáng tin cậy trong tương lai.