Chúng ta thường nghe nói rằng các mô hình AI chạy cục bộ như Qwen 27B hay 35-A3B đang 'tiệm cận cấp độ Opus'. Tuy nhiên, từ kinh nghiệm thực tế của một doanh nhân phần mềm, Alex Ellis chia sẻ một cái nhìn thẳng thắn và minh bạch. Bài viết này không phải là một bài đánh giá hời hợt hay tuyên bố vô căn cứ, mà là hành trình của một nhà sáng lập trong một doanh nghiệp phần mềm nhỏ, nơi các mô hình cục bộ đã mang lại giá trị thực, nhưng đi kèm với nhiều lưu ý. 🤔
Hành trình của một nhà sáng lập và trường hợp sử dụng AI
Alex Ellis, nhà sáng lập các dự án mã nguồn mở và công ty phần mềm như OpenFaaS, SlicerVM, Actuated.com và Inlets.com, đã áp dụng AI vào công việc của mình từ những ngày đầu. Các sản phẩm của ông tập trung vào hiệu quả, trải nghiệm người dùng, kiểm soát và quyền tự chủ, sử dụng các nguyên thủy cấp thấp của Linux như container và microVM. 💻
Ban đầu, các công cụ AI giúp giảm công việc lặp đi lặp lại, nhưng với Claude hay Codex, chúng đã tiến xa đến mức có thể 'thiết kế, kiến trúc và kiểm thử từ đầu đến cuối'. Mặc dù Alex vẫn tự viết, nhưng ông hiếm khi tự viết code bằng tay nữa. ✨
Bước ngoặt về "trí thông minh tiên tiến" và sức hút của mô hình đám mây
Khoảng cuối năm 2025, đầu 2026, Claude Opus đã tạo ra một bước ngoặt lớn, khiến nhiều nhà phát triển tin rằng nó có thể hoàn thành 'tất cả' công việc của họ. Chi phí cho các gói lập trình cao cấp ổn định ở mức khoảng 200 USD/tháng, một con số chấp nhận được với giá trị mà chúng mang lại. 💸
Tại sao mô hình cục bộ (Local AI) lại trở nên thú vị?
Trong một bối cảnh cạnh tranh gay gắt, nơi ý tưởng có thể bị sao chép chỉ sau một đêm, câu hỏi đặt ra là: Tại sao lại chọn một giải pháp kém hơn? Đây có phải là chi phí cơ hội không? 🧐
Tuy nhiên, các mô hình cục bộ lại có những ưu điểm không thể phủ nhận:
* Chi phí: Mặc dù một số người cho rằng chi phí không phải là vấn đề, nhưng đối với người dùng nặng hoặc các trường hợp sử dụng phức tạp, chi phí API của các mô hình đám mây có thể tăng vọt. Uber đã phải giới hạn chi tiêu AI của nhân viên ở mức 1500 USD/tháng/nhà phát triển. * Chủ quyền và quyền riêng tư: Với các khách hàng doanh nghiệp yêu cầu kiểm soát dữ liệu nghiêm ngặt, việc chạy mô hình cục bộ đảm bảo dữ liệu không bị rò rỉ hoặc bị phụ thuộc vào các chính sách giữ lại dữ liệu của nhà cung cấp đám mây. Việc Anthropic đột ngột loại bỏ Fable 5 đã cho thấy rủi ro về nhà cung cấp. 🔒
Mô hình cục bộ chính là giải pháp cho câu hỏi "Điều gì sẽ xảy ra nếu các phòng thí nghiệm AI lớn làm X?"
'Tôi luyện lưỡi kiếm': Mô hình cục bộ là công cụ khác biệt
Alex Ellis ví von kinh nghiệm sử dụng mô hình cục bộ như việc 'tôi luyện lưỡi kiếm'. Giống như khi tôi luyện thép, nếu quá nhiệt, thép sẽ bị hỏng, mô hình AI cục bộ cũng vậy. Khi chạy quá nóng, nó sẽ 'vượt quá mục tiêu và bắt đầu lặp lại', không thể khắc phục nếu không khởi động lại. 😵💫
Điều này có nghĩa là bạn không thể để Qwen 3.6 27B làm việc không giám sát trong các tác vụ dài hơi. Nếu một con dao được rèn sắc bén có thể dùng để đóng đinh, nhưng nó sẽ làm hỏng lưỡi dao và có thể gây thương tích. Tương tự, nếu mô hình cục bộ là một công cụ khác, thì nó tốt cho việc gì? 🤔
Những bài học sắc bén từ thực tế sử dụng AI cục bộ
1. Kỳ vọng không phù hợp: Ban đầu, Alex tìm kiếm quyền riêng tư, chi phí cố định và bảo vệ rủi ro từ nhà cung cấp. Nhưng ông đã thất vọng khi đối xử với mô hình cục bộ giống như Claude hoặc Codex, vốn có thể làm việc không giám sát rất hiệu quả. 2. Đau đầu với phần cứng: Thẻ 3090 ban đầu gây nhiều khó khăn về lượng tử hóa và độ ổn định. Mãi đến Qwen 3.5, ông mới thấy công việc thực sự được thực hiện. Một mô hình 27B không thể chạy ở độ trung thực cao trên một thẻ 3090 duy nhất, đòi hỏi phải điều chỉnh các thông số như mức độ nén trọng số (lượng tử hóa) và độ dài ngữ cảnh. 3. Đầu tư lớn: Để giải quyết các vấn đề, công ty đã đầu tư 12.000 USD vào một chiếc RTX 6000 Pro Blackwell 96GB VRAM. Khoản đầu tư này đã được đền đáp, nhưng không phải vì nó thay thế các gói đăng ký Claude, mà vì nó phục vụ các trường hợp sử dụng cụ thể. 💰
Hỗ trợ khách hàng không rò rỉ dữ liệu và phục hồi doanh thu
* Hỗ trợ khách hàng không rò rỉ dữ liệu: Nhiều khách hàng doanh nghiệp có nhu cầu cao về bảo mật. Bằng cách phát triển công cụ CLI 'diag' để thu thập ảnh chụp nhanh cài đặt OpenFaaS và chạy qua mô hình cục bộ được cách ly (airgapped) trong một máy ảo tạm thời của SlicerVM, Kalera News có thể cung cấp hỗ trợ không rò rỉ dữ liệu nhạy cảm của khách hàng. 🤝 * Phục hồi doanh thu: Một trường hợp sử dụng khác là phân tích dữ liệu telemetry. Khi nạp cơ sở dữ liệu telemetry vào mô hình cục bộ, công ty đã phát hiện khách hàng báo cáo thiếu giấy phép và trả ít hơn 4-5 lần trong hơn 12 tháng. Khoản doanh thu phục hồi này đã bù đắp chi phí cho chiếc card đồ họa. Điều này không thể thực hiện với các mô hình đám mây do lo ngại về quyền sở hữu trí tuệ và quyền riêng tư dữ liệu. 📈
Tuy nhiên, mô hình cũng có lúc thất bại trong số học hoặc suy luận sai về khách hàng sắp bỏ cuộc, cho thấy cần có sự giám sát chặt chẽ. 🚨
Thiết lập hiện tại và vấn đề lặp lại của mô hình
Hiện tại, nhóm của Alex Ellis sử dụng cả Qwopus và mô hình Qwen 3.6 27B cơ sở trên dàn RTX 6000 Pro, được phục vụ bởi hai instance llama.cpp độc lập để duy trì độ dài ngữ cảnh đầy đủ. Với giải mã suy đoán MTP, tốc độ tăng từ 67 tok/s lên 130-200 tok/s. ⚡
Vấn đề lặp lại: Qwen thường xuyên rơi vào vòng lặp vô hạn khi được giao các tác vụ dài hơi hoặc không rõ ràng, chẳng hạn như lặp lại các lệnh faas-cli hoặc không thể sửa lỗi thụt lề trong Python. Điều này tiêu tốn điện năng vô ích và cho thấy độ tin cậy thấp nếu không có giám sát. ♻️
So sánh sai lầm và những điều cần lưu ý
Việc so sánh chi phí đầu vào/đầu ra trên mỗi triệu token của mô hình cục bộ với API của OpenAI cho GPT-5.5 là một sự so sánh sai lầm. Thay vào đó, cần hiểu rõ chi phí vận hành liên tục cho những công việc không phù hợp với mô hình đám mây. 📊
Điều này biến 'AI cục bộ' thành một vấn đề vận hành, đòi hỏi quản lý danh tính, kiểm soát truy cập, đo lường, định mức, định tuyến mô hình và giám sát năng lượng. Thách thức lớn nhất vẫn là độ tin cậy của sự kết hợp tác nhân/mô hình và duy trì thời gian hoạt động đủ để những người phụ thuộc vào mô hình.
Kết luận
Qwen cục bộ không 'gần bằng cấp độ Opus' nhưng có giá trị cho các tác vụ và quy trình làm việc nhất định. Đây vẫn là giai đoạn đầu và mọi thứ chắc chắn sẽ tốt hơn. 🎉
Những điều hữu ích để tận dụng AI cục bộ:
* Phù hợp mô hình cục bộ với các tác vụ chuyên biệt: hỗ trợ khách hàng, bảo trì có giới hạn, kiểm thử end-to-end. * Sử dụng AGENTS.md: Hướng dẫn chi tiết giúp mô hình hiệu quả hơn. * Chú ý đến các ghi chú điều chỉnh (tuning notes) trên model card: nhiệt độ, cài đặt ngữ cảnh và lượng tử hóa đều quan trọng. Tránh lượng tử hóa quá thấp. * Mô hình cục bộ có thể nhanh chóng đọc và giải thích codebase, dù không thể tự viết code hoàn chỉnh – đây là một siêu năng lực. 🧠 * Thử nghiệm các fine-tune như Qwopus để tìm mô hình phù hợp. * Kỹ năng tác nhân (Agent Skills) có thể giúp ích rất nhiều. * So sánh song song các tác vụ với mô hình cục bộ và đám mây. * Không giao các tác vụ dài hơi, không giám sát: Đây là nơi mô hình dễ bị lặp và thậm chí phần cứng đắt tiền cũng không thể khắc phục. ❌
Các mô hình 70B hiện tại thường đã lỗi thời. Các biến thể Qwen 35-A3B phổ biến trên MacBook vì có vẻ nhanh hơn, nhưng chỉ có 3B tham số hoạt động khi tạo ra kết quả. Các mô hình lớn hơn như GLM 5.2 yêu cầu 4-6 thẻ RTX 6000 Pro, nằm ngoài khả năng của nhiều người. 🚧
AI cục bộ chưa thể viết mã Go suốt cả ngày. Kiến thức và sự chú ý hạn chế của chúng thể hiện rõ trong các bài đánh giá mã, dễ gây ra lỗi sai hoặc 'ảo giác' về các vấn đề đồng thời. "Grok Coder Fast 1" từng là lựa chọn tốt hơn, rẻ hơn và nhanh hơn cho đến khi bị ngừng phát triển. 🛑