Tại hội nghị VB Transform 2026 diễn ra vào giữa tháng 7 năm 2026, các nhà quản lý hạ tầng công nghệ từ LinkedIn, Walmart và Zendesk đã cùng chia sẻ một thực tế đáng chú ý: rào cản lớn nhất khiến các AI Agent (đại lý trí tuệ nhân tạo) hoạt động chậm chạp khi đưa vào thực tế không phải do năng lực của mô hình ngôn ngữ lớn (LLM), mà xuất phát từ chính hệ thống hạ tầng di sản vốn được thiết kế cho con người chứ không phải cho AI.
Diễn biến chi tiết
Khi chuyển dịch các hệ thống AI Agent từ giai đoạn thử nghiệm sang vận hành thực tế (production), cả ba ông lớn công nghệ này đều vấp phải những rào cản hạ tầng nghiêm trọng. Tại LinkedIn, hệ thống Kubernetes thông thường mất vài giây để khởi tạo container mới—một tốc độ quá chậm đối với các AI Agent vốn phản hồi chỉ trong mili giây. Trong khi đó, Walmart lại đối mặt với bài toán quản trị khi công cụ AI nội bộ phát triển quá nhanh, dẫn đến tình trạng chồng chéo các Agent do nhân viên tự xây dựng. Đối với Zendesk, thách thức lại nằm ở kho dữ liệu khổng lồ với 20 tỷ cuộc hội thoại khách hàng, nơi việc chỉ nạp dữ liệu thô vào các mô hình có cửa sổ ngữ cảnh lớn hoàn toàn thất bại nếu thiếu đi các đường ống dẫn dữ liệu (data pipeline) tối ưu.
Phân tích kỹ thuật & Công nghệ
Để giải quyết các nút thắt này, mỗi doanh nghiệp đã phát triển những giải pháp hạ tầng chuyên biệt. LinkedIn quyết định chuyển từ cơ chế phân bổ container theo yêu cầu (on-demand) sang các cụm container được phân bổ sẵn (pre-provisioned) để hoán đổi tác vụ của Agent trong thời gian thực. Đồng thời, họ xây dựng một luồng điều khiển xác định (deterministic flow) chiếm 80% quy trình, chỉ đẩy LLM xuống các nhánh lá khi cần suy luận nhằm hạn chế tình trạng ảo tưởng (hallucination). Ngoài ra, LinkedIn và Walmart đều tự phát triển các cổng kết nối AI Gateway độc lập để chuẩn hóa API và dễ dàng chuyển đổi linh hoạt giữa các nhà cung cấp mô hình khác nhau.
Ý kiến chuyên gia & Nhận định
Các chuyên gia tại hội nghị đồng thuận rằng việc tự chủ hạ tầng và mô hình là chìa khóa sống còn cho doanh nghiệp. Sami Ghoche, Phó Chủ tịch phụ trách AI ứng dụng tại Zendesk, nhận định hầu hết các doanh nghiệp đều muốn sở hữu mô hình và hạ tầng riêng để tối ưu hóa hiệu năng, ngoại trừ một số tác vụ suy luận cực kỳ phức tạp mới cần đến các mô hình biên (frontier models) từ các phòng lab lớn. Trong khi đó, Animesh Singh từ LinkedIn khuyên các doanh nghiệp nên xây dựng hệ thống lưu trữ ngữ cảnh độc lập để tránh bị khóa chặt vào một nhà cung cấp dịch vụ đám mây hay một mô hình cụ thể.
Tác động & Tương lai
Sự dịch chuyển từ việc tập trung vào mô hình sang tối ưu hóa hạ tầng đánh dấu một chương mới trong cuộc đua AI thực tế của doanh nghiệp toàn cầu cũng như tại Việt Nam. Các bài học xương máu về việc đầu tư vào hệ thống đánh giá (evals) trước khi triển khai, tự chủ khung kết nối (agent harness), và xây dựng kiến trúc độc lập sẽ là kim chỉ nam giúp các kỹ sư công nghệ tối ưu hóa chi phí vận hành và tăng tốc độ xử lý của AI từ mức hàng giây xuống mili giây.