Tại hội nghị VB Transform 2026 vừa qua, Toby Roberts, Phó Chủ tịch phụ trách Kỹ thuật của Zillow, cùng với Arvind Jain, CEO của Glean, đã chia sẻ những bài học thực tế về việc triển khai hệ thống AI quy mô lớn. Đại diện Zillow nhấn mạnh rằng việc đo lường hiệu quả (ROI) của AI chỉ thực sự chính xác khi doanh nghiệp thiết lập các mốc đánh giá chuẩn từ trước khi xây dựng hệ thống. Điều này giúp Zillow ghi nhận mức tăng trưởng rõ rệt trong hiệu suất vận hành nhờ ứng dụng AI một cách thực chất thay vì chạy theo trào lưu.
Bối cảnh & Nguyên nhân
Với vai trò là một nền tảng công nghệ bất động sản lớn tại Mỹ xử lý tới 80% giao dịch hàng năm, Zillow đối mặt với thách thức duy trì trải nghiệm khách hàng liền mạch. Người mua nhà thường trải qua một hành trình dài kéo dài nhiều tháng, tương tác qua nhiều kênh từ nhân viên tư vấn, chuyên viên tài chính cho đến đại lý môi giới. Theo ông Roberts, một chatbot đơn lẻ không bao giờ có thể tự duy trì luồng thông tin phức tạp này trong suốt cả quá trình. Do đó, khó khăn thực sự không nằm ở việc chuẩn bị dữ liệu thô, mà là xây dựng một "lớp ngữ cảnh bền vững" (persistent context layer) để ghi nhớ hành trình của khách hàng dù họ xuất hiện ở bất kỳ kênh nào. Doanh nghiệp này đã nhanh chóng quyết định tự phát triển lớp ngữ cảnh riêng thay vì phụ thuộc hoàn toàn vào một giao diện chat của bên thứ ba.
Phân tích kỹ thuật & Công nghệ
Về mặt kỹ thuật, Zillow chọn cách xây dựng bộ khung điều phối riêng thay vì định tuyến trực tiếp yêu cầu của khách hàng qua một API mô hình lớn duy nhất. Tận dụng 20 năm kinh nghiệm phát triển máy học từ các sản phẩm như Zestimate, công ty tập trung sử dụng các mô hình nhỏ được tinh chỉnh cho từng tác vụ chuyên biệt. Song song đó, hệ thống nội bộ của Zillow vận hành hàng nghìn tác nhân (agent) của Glean thông qua cổng kết nối Glean MCP gateway nhằm tự động hóa các tác vụ lặp đi lặp lại. Giải pháp này cho phép tập trung hóa việc tích hợp dữ liệu, tránh việc các phòng ban như pháp lý, tiếp thị phải tự xây dựng các kết nối riêng lẻ. Bên cạnh đó, công nghệ định tuyến mô hình và tính toán trước ngữ cảnh (precomputed context) giúp hệ thống không phải tốn tài nguyên tải dữ liệu từ đầu, giảm đáng kể độ trễ và tiết kiệm tới 50% lượng token tiêu thụ khi gọi các mô hình lớn như Claude.
Ý kiến chuyên gia & Nhận định
Đánh giá về mô hình này, CEO Arvind Jain của Glean nhận định rằng các mô hình ngôn ngữ lớn đơn thuần là không đủ để mang lại tự động hóa thực sự trong doanh nghiệp nếu không được kết nối chặt chẽ với ngữ cảnh nội bộ. Ông Jain giải thích rằng việc tích hợp trùng lặp giữa các phòng ban là một khoản chi phí ẩn khổng lồ mà nhiều doanh nghiệp thường bỏ qua khi đầu tư vào AI. Trong khi đó, ông Roberts cũng khuyến cáo các kỹ sư không nên quá tin tưởng vào cơ chế phân quyền tự động của các kiến trúc AI đối với dữ liệu nhạy cảm. Để đảm bảo an toàn pháp lý, Zillow đã phải chủ động thiết lập thêm các quy tắc cứng và quy trình kiểm tra tuân thủ độc lập đè lên trên lớp kiến trúc sẵn có.
Tác động & Tương lai
Thành công của Zillow trong việc chứng minh AI giúp tăng 40% lượng mã nguồn được phát hành là nhờ họ đã xây dựng hệ thống chỉ số DORA từ nhiều năm trước. Đây là bài học đắt giá cho các doanh nghiệp Việt Nam đang loay hoay tìm cách đo lường hiệu quả thực tế của dòng vốn đầu tư vào công nghệ mới. Việc tối ưu hóa chi phí thông qua quản lý ngữ cảnh và định tuyến mô hình nhỏ sẽ là xu hướng chủ đạo giúp AI đi vào đời sống sản xuất một cách bền vững. Cách tiếp cận thực tế, không cường điệu hóa của Zillow một lần nữa khẳng định rằng quản trị dữ liệu và tư duy đo lường trước khi xây dựng mới là chìa khóa quyết định sự thành bại của các dự án AI quy mô lớn.