Thế giới Trí tuệ Nhân tạo (AI) không ngừng biến động: các mô hình xuất hiện rồi biến mất, hoặc trải qua những bản cập nhật làm thay đổi đáng kể hiệu suất. Vậy làm thế nào để doanh nghiệp không bị động trước những thay đổi này? Shopify, gã khổng lồ thương mại điện tử, đã có câu trả lời bằng cách xây dựng một kiến trúc AI vô cùng kiên cường và linh hoạt.
Proxy LLM: Chìa Khóa Cho Sự Linh Hoạt Không Ngừng 🔑
Shopify đã phát triển một proxy LLM (mô hình ngôn ngữ lớn) nội bộ, cấp quyền truy cập cho mọi kỹ sư tới nhiều nhà cung cấp AI khác nhau. Điều đáng chú ý là hệ thống này có khả năng tự động chuyển đổi (failover) khi một nhà cung cấp gặp sự cố, thay đổi hoặc biến mất. Một ví dụ điển hình là khi Claude Fable 5 ngừng hoạt động, các kỹ sư của Shopify không hề hoảng loạn. Proxy đã tự động chuyển hướng họ sang Claude Opus hoặc GPT 5.5, đảm bảo quy trình làm việc không bị gián đoạn.
Farhan Thawar, Giám đốc Kỹ thuật của Shopify, chia sẻ: “Khi một mô hình xuất hiện rồi biến mất, hoặc chỉ đơn giản là có một bản cập nhật, proxy cho phép chúng tôi phân phối yêu cầu tới nhiều nhà cung cấp khác nhau.” Shopify mua token số lượng lớn và tất cả người dùng kết nối với các mô hình thông qua proxy này. Điều này mang lại cho đội ngũ của ông khả năng theo dõi báo cáo và thực hiện chuyển đổi liền mạch giữa các nhà cung cấp khi có vấn đề về tính khả dụng.
Đây là bài học quan trọng cho các doanh nghiệp: cần có một hệ thống cho phép di chuyển linh hoạt giữa các mô hình và nhà cung cấp, tránh bị “trói buộc” vào một đối tác cụ thể.
Chiến Lược Chắt Lọc Mô Hình (Distillation): Nhanh Hơn, Rẻ Hơn, Hiệu Quả Hơn! 💰💨
Một chiến lược quan trọng khác mà Shopify áp dụng là chắt lọc mô hình (distillation). Với phương pháp này, một mô hình “học sinh” sẽ học hỏi từ mô hình “giáo viên” và trở nên chuyên biệt hóa cho một tác vụ cụ thể hơn. Những mô hình ngôn ngữ nhỏ (SLM – Small Language Models) này có thể mang lại lợi ích vượt trội so với các mô hình tổng quát, có sẵn trên thị trường trong nhiều trường hợp.
Ví dụ, trợ lý AI hàng đầu của Shopify, Sidekick, thực hiện nhiều tác vụ phụ chuyên biệt cho các nhà bán hàng, giúp họ “giảm bớt công việc nhàm chán hàng ngày”. Việc sử dụng các mô hình nhỏ đã được chắt lọc không chỉ nhanh hơn mà còn rẻ hơn đáng kể so với các mô hình tổng quát. Thawar cho biết, chúng có thể rẻ và nhanh hơn gấp 2 lần, và trong những trường hợp cực đoan, thậm chí là 30 lần.
Tuy nhiên, Thawar nhấn mạnh: “Vấn đề không chỉ là chi phí và độ trễ, dù đây là những yếu tố lớn; mà còn là độ chính xác.”
Các kỹ sư của Shopify sử dụng một quy trình nội bộ: họ cung cấp mô hình giáo viên, dữ liệu huấn luyện, đánh giá và mô hình mục tiêu – ví dụ, Opus 4.8 chắt lọc xuống Qwen 3.5. Quy trình này chạy khoảng một ngày, sau đó trả về đánh giá cho thấy mô hình đã tinh chỉnh thực sự đạt được gì về tốc độ, chi phí và độ chính xác cho tác vụ phụ đó. Nếu sự đánh đổi là hợp lý, kỹ sư sẽ triển khai mà không cần qua quy trình phê duyệt. Nền tảng nội bộ Tangle của Shopify cho phép mọi người hình dung quy trình này khi nó đang chạy.
Mơ ước của Thawar là cuối cùng không cần cung cấp mô hình mục tiêu cho quy trình chắt lọc nữa. Thay vào đó, người dùng chỉ cần cung cấp mô hình giáo viên cùng dữ liệu và các chỉ dẫn: “Dựa trên những gì bạn đã học được theo thời gian, hãy xem xét các loại mô hình, kích thước và kiểu dáng khác nhau, và cho tôi biết mục tiêu chắt lọc phù hợp là gì.”
Từ “Phản Xạ AI” Đến “Tận Dụng AI”: Tư Duy Thông Minh Hơn 🧠
Người dùng Shopify có thể sử dụng bất kỳ công cụ AI nào họ muốn: Claude Code, Codex, Cursor, GitHub Copilot cho VS Code. “Chúng tôi cung cấp cho mọi người các công cụ khác nhau để họ có thể cảm nhận được cái gì phù hợp hoặc không phù hợp với quy trình làm việc của họ.”
Tuy nhiên, công ty cũng triển khai một bảng điều khiển thống kê sử dụng. Điều này cho phép đội ngũ của Thawar đặt ra những câu hỏi sâu sắc không chỉ về chi phí token, mà còn về: Ai đang sử dụng các token đắt nhất? Ai đang dành nhiều thời gian hơn cho việc suy luận? Loại mô hình nào đang được sử dụng, trong lĩnh vực và cấp độ nào?
Đối với câu hỏi về “tối đa hóa chi phí token”, Shopify có các “cầu dao ngắt mạch” (circuit breakers) được thiết lập. Nếu một người dùng chạy một mô hình trong thời gian dài (ví dụ, 10 giờ) và tiêu thụ nhiều token, họ sẽ nhận được thông báo: “Bạn có muốn chi tiêu số tiền này không?” Như Thawar giải thích, đôi khi câu trả lời là “Ồ, chắc chắn rồi.” Những lúc khác lại là: “Ôi, tôi không biết cái đó đang chạy ngầm. Tôi hoàn toàn quên mất. Tôi muốn dừng nó ngay bây giờ.”
Mục tiêu cuối cùng, theo Thawar, là chuyển từ “phản xạ AI” (sử dụng AI một cách bản năng, không suy nghĩ) sang “tận dụng AI” (suy nghĩ sâu sắc về việc AI có thể mang lại lợi ích tối đa ở đâu trong quy trình làm việc).
Nguồn: venturebeat.com