Chào mừng quý độc giả của Kalera News! Hôm nay, Sylvie sẽ cùng các bạn khám phá một mô hình AI đang làm mưa làm gió trong giới công nghệ: Qwen 3.6 27B. Theo đánh giá từ Piotr Migdał trên Quesma.com, đây là 'điểm vàng' cho việc phát triển AI cục bộ, mang lại trải nghiệm không khác gì một trí tuệ nhân tạo tổng quát đích thực. ✨
Qwen 3.6 27B: Sức Mạnh Đáng Kinh Ngạc Đằng Sau Vẻ Ngoại Hình 'Nóng Bỏng' 🥵
Piotr Migdał, người từng tỏ ra thất vọng với các mô hình AI cục bộ, đã hoàn toàn bị Qwen 3.6 chinh phục. Ông mô tả Qwen 3.6 27B là mô hình 'đầu tiên có ý nghĩa như một trí tuệ tổng quát' mà ông có thể chạy tại chỗ. Qwen 3.6 có hai phiên bản: một mô hình 'hỗn hợp chuyên gia' (mixture-of-experts) Qwen 3.6 35B A3B và phiên bản 'mô hình dày đặc' (dense) Qwen 3.6 27B – chậm hơn nhưng mạnh mẽ hơn. Chính phiên bản 27B này được khuyến nghị sử dụng.
Một điểm thú vị là Qwen 3.6 27B hoạt động mạnh mẽ đến mức có thể làm cho máy tính của bạn... nóng ran. Piotr thậm chí đã phải dùng camera nhiệt để kiểm tra máy MacBook của mình! Nhưng theo ông, 'nó đáng giá!' bởi khả năng xử lý vượt trội so với kích thước, một nhận định chung được nhiều người dùng chia sẻ trên Hacker News.
Thử Nghiệm Thực Tế: Từ Thơ Ca Đến Mã Hóa ✍️💻
Để kiểm chứng sức mạnh của Qwen 3.6 27B, Piotr đã thực hiện nhiều thử nghiệm đa dạng:
* Thử nghiệm 'chim cánh cụt đi xe đạp': Simon Willison thường dùng thử thách này. Qwen 3.6 27B đã chứng tỏ khả năng vượt trội so với các đối thủ. * Sáng tác thơ có ràng buộc: Mô hình đã viết một bài thơ 8 câu về vũ điệu Zouk và vật lý lượng tử, thể hiện quá trình tư duy hợp lý về cả thuật ngữ lượng tử lẫn vần điệu. * Tạo mã nguồn: Đáng ngạc nhiên hơn, Qwen 3.6 27B đã tạo ra một trò chơi dò mìn hình lục giác bằng pnpm trong OpenCode chỉ từ một câu lệnh duy nhất, hoạt động hoàn hảo ngay lần đầu tiên. Trong khi đó, phiên bản 35B A3B nhanh hơn nhưng lại bỏ qua yêu cầu tạo gói package, chỉ tạo ra một index.html duy nhất. * Tạo trang đích (landing page): Từ một yêu cầu đơn giản về cửa hàng nến, mô hình đã tạo ra một trang đích đẹp mắt và tương tác, cho thấy tiềm năng thực tế trong công việc hàng ngày.
Những kết quả này cho thấy Qwen 3.6 27B không chỉ giỏi trong các nhiệm vụ sáng tạo mà còn rất hiệu quả với các công việc lập trình thực tế.
Chạy Qwen 3.6 Cục Bộ Với llama.cpp: Hướng Dẫn Nhanh ⚙️
Chạy các mô hình AI cục bộ giờ đây dễ dàng hơn bao giờ hết. Piotr khuyến nghị sử dụng llama.cpp – một công cụ mã nguồn mở trực tiếp cho phép chạy mô hình trên nhiều thiết bị khác nhau. Ông cũng cảnh báo không nên sử dụng Ollama vì các lý do đạo đức (tham khảo sleepingrobots.com).
Để chạy Qwen 3.6 27B, bạn cần một phiên bản mô hình đã được 'lượng tử hóa' (quantization) để giảm kích thước. Piotr đề xuất sử dụng bản unsloth/Qwen3.6-27B-MTP-GGUF:Q8_0 – một phiên bản lượng tử hóa 8-bit hỗ trợ dự đoán đa token (MTP), giúp tiết kiệm một nửa không gian mà gần như không ảnh hưởng đến chất lượng. 💾
Các lệnh để khởi chạy máy chủ llama-server hoặc trò chuyện trực tiếp với llama-cli bao gồm:
bash llama-server -hf unsloth/Qwen3.6-27B-MTP-GGUF:Q8_0 \ --spec-type draft-mtp -ngl 999 -fa on -c 65536 --port 8080
Hoặc nếu bạn muốn trò chuyện trực tiếp qua Terminal:
bash llama-cli -hf unsloth/Qwen3.6-27B-MTP-GGUF:Q8_0 \ -ngl 999 -fa on -c 65536
Đo Lường Hiệu Suất: Nhanh Thế Nào? ⏱️
Theo các thử nghiệm trên Macbook Max M5 128 GB, Qwen 3.6 27B (8-bit, với MTP) đạt tốc độ khoảng 32 token/giây, sử dụng khoảng 42 GB RAM. Tốc độ này được đánh giá là khá tốt, tương đương với phạm vi API của các mô hình tiên tiến hiện nay. 📈
Một điểm đáng chú ý là llama.cpp đã chứng tỏ hiệu suất tốt hơn mlx-lm trên Apple Silicon, sử dụng tới 95% GPU – một minh chứng cho việc tận dụng tài nguyên hiệu quả. Mặc dù Qwen 3.6 35B A3B nhanh hơn gấp 3 lần, Piotr vẫn ưu tiên 27B vì 'thà tạo ra ít mã hơn nhưng chất lượng cao hơn'. Đối với các thiết bị có RAM thấp hơn, các phiên bản lượng tử hóa 4-bit của Qwen 3.6 27B chỉ tốn dưới 18 GB RAM, phù hợp với các thiết bị 32 GB. Trên các card Nvidia RTX, hiệu suất còn cao hơn nữa.
So Sánh Với Các Mô Hình Tiên Tiến Khác: Đặt Qwen 3.6 Ở Đâu? 📊
Dựa trên điểm số từ Artificial Analysis, Qwen 3.6 27B đạt 37 điểm, ngang với các mô hình 'giữa năm 2025' như GPT-5 / Claude Sonnet 4.5. Điều này vượt trội đáng kể so với Gemma 4 31B (29 điểm) và thậm chí nhỉnh hơn Qwen 3.6 35B A3B (32 điểm).
So với DeepSeek V4 Flash (40 điểm), Qwen 3.6 27B vẫn giữ vững vị thế của mình, mặc dù DeepSeek V4 Flash sử dụng phương pháp lượng tử hóa mạnh mẽ hơn. Ấn tượng cá nhân của Piotr là Qwen 3.6 27B có chất lượng tương đương hoặc nhỉnh hơn DeepSeek V4 Flash trong các thử nghiệm này.
Tương Lai Của AI Cục Bộ: Quyền Chủ Động Nằm Trong Tay Bạn 🌐
Chúng ta đang bước vào một kỷ nguyên thú vị khi việc chạy các mô hình AI riêng tại chỗ trở nên khả thi hơn bao giờ hết. Điều này mang lại nhiều lợi ích to lớn:
* Quyền riêng tư tuyệt đối: Dữ liệu nhạy cảm không cần rời khỏi máy tính cá nhân hoặc máy chủ của doanh nghiệp. * Khả năng tùy chỉnh: Mô hình có thể được tinh chỉnh (fine-tuned) theo nhu cầu cụ thể của từng người dùng hoặc công ty. * Độc lập: Không phụ thuộc vào các dịch vụ đám mây, vốn có thể bị thay đổi chính sách hoặc ngừng hoạt động (như Claude Fable 5 đã từng bị gỡ bỏ).
Trong tương lai, chúng ta sẽ thấy nhiều mô hình AI mạnh mẽ hơn nữa có thể chạy trên các thiết bị cục bộ, thậm chí là điện thoại thông minh. Piotr tin rằng các mô hình này sẽ tách biệt 'trí thông minh thô' với 'kiến thức thực tế', sử dụng các công cụ gọi hàm (tool calling) để truy cập thông tin, giúp chúng trở nên hiệu quả và linh hoạt hơn. 💡
Với sự xuất hiện của các mô hình 'open-weight' cấp độ tiên tiến như GLM 5.2 (dù yêu cầu phần cứng mạnh mẽ hơn), kỷ nguyên AI cục bộ đang bùng nổ mạnh mẽ, mang lại quyền năng sáng tạo và kiểm soát cho từng cá nhân và doanh nghiệp. Hãy tận dụng cơ hội này để khám phá và phát triển! 🚀
Bạn nghĩ sao về Qwen 3.6 27B và tương lai của AI cục bộ? Hãy chia sẻ suy nghĩ của bạn với Kalera News nhé! 👇