Novita Labs vừa chính thức công bố việc huấn luyện và phát hành các mô hình suy đoán DSpark dành riêng cho Kimi-K2.6 và Kimi-K2.7-Code trên nền tảng Hugging Face. Giải pháp mới này đi kèm với sự hỗ trợ vận hành gốc (native serving support) trực tiếp trong thư viện tối ưu hóa vLLM, hứa hẹn mang lại giải pháp tăng tốc độ xử lý suy luận hiệu quả cho cộng đồng mã nguồn mở.
Diễn biến chi tiết
Theo công bố từ Novita Labs vào ngày 13 tháng 07 năm 2026, các mô hình DSpark speculators được thiết kế để giải quyết bài toán độ trễ trong quá trình tạo văn bản của các mô hình ngôn ngữ lớn (LLM). Việc tích hợp trực tiếp vào vLLM cho phép các nhà phát triển và doanh nghiệp dễ dàng triển khai giải pháp này vào hạ tầng sẵn có mà không cần cấu hình phức tạp. Đây là bước đi chiến lược nhằm tối ưu hóa chi phí phần cứng khi vận hành các mô hình AI thế hệ mới từ Kimi.
Phân tích kỹ thuật & Công nghệ
Công nghệ suy đoán (speculative decoding) áp dụng trong DSpark hoạt động bằng cách sử dụng một mô hình nhỏ và nhanh hơn để dự đoán trước các từ tiếp theo, sau đó mô hình lớn (như Kimi-K2.6) sẽ xác thực lại kết quả này song song. Qua đánh giá thực tế trên 6 bộ benchmark tiêu chuẩn với kích thước batch bằng 1 (batch-size-1), hệ thống ghi nhận những con số ấn tượng. Cụ thể, mô hình Kimi-K2.6 đạt mức tăng băng thông xử lý trung bình lên tới 2.55 lần (tương đương mức tăng 155%), trong khi biến thể Kimi-K2.7-Code dành cho lập trình cũng đạt mức tăng tốc trung bình 2.36 lần.
Ý kiến chuyên gia & Nhận định
Các chuyên gia kỹ thuật nhận định rằng việc tích hợp sẵn vào vLLM là một điểm cộng rất lớn cho giải pháp của Novita Labs. Thư viện vLLM hiện là một trong những engine phục vụ LLM phổ biến nhất thế giới nhờ khả năng quản lý bộ nhớ thông minh (PagedAttention). Sự kết hợp giữa thuật toán suy đoán tối ưu của DSpark và khả năng quản lý tài nguyên của vLLM sẽ giúp giảm đáng kể chi phí vận hành trên mỗi token cho các hệ thống AI thương mại.
Tác động & Tương lai
Đối với cộng đồng phát triển AI tại Việt Nam, sự xuất hiện của các công cụ tối ưu nguồn mở như DSpark trên Hugging Face giúp thu hẹp rào cản tài nguyên phần cứng. Việc tăng tốc độ suy luận lên hơn 2 lần mà không làm suy giảm chất lượng đầu ra mở ra cơ hội triển khai các ứng dụng chatbot, trợ lý ảo và công cụ hỗ trợ viết mã nguồn chạy mượt mà hơn trên các hệ thống GPU tầm trung, giảm bớt sự phụ thuộc vào các cụm máy chủ đắt đỏ.