Dự án mã nguồn mở llama.cpp vừa công bố việc hỗ trợ kỹ thuật Dự đoán đa mã báo (Multi-Token Prediction - MTP) cho gia đình mô hình Qwen3.6. Đây được đánh giá là một bước tiến quan trọng cho hệ sinh thái AI chạy cục bộ (local AI).
Diễn biến
Theo ggerganov (tác giả chính của llama.cpp), việc áp dụng MTP mang lại sự nhảy vọt về hiệu suất xử lý, giúp việc suy luận (inference) trên các thiết bị phần cứng thông dụng trở nên mượt mà hơn hẳn. Bước phát triển này có sự đóng góp lớn từ kỹ sư Aman Gupta. Qwen3.6, dòng mô hình mạnh mẽ từ Alibaba, giờ đây có thể phát huy tối đa sức mạnh ngay trên máy tính cá nhân nhờ tối ưu hóa này.
Vì sao đáng chú ý
Việc tăng hiệu năng inference là 'chìa khóa' để đưa AI vào đời sống thực tế tại Việt Nam, nơi không phải ai cũng có quyền truy cập vào các cụm GPU server đắt tiền. llama.cpp hỗ trợ MTP đồng nghĩa với việc các developer Việt có thể chạy các mô hình ngôn ngữ mạnh mẽ như Qwen với tốc độ cao hơn trên laptop hoặc PC văn phòng, mở ra khả năng tích hợp AI vào các ứng dụng offline, đảm bảo tốc độ phản hồi và tính riêng tư dữ liệu.