Xu hướng đưa AI về vận hành tại chỗ (local) đang nhận được sự thúc đẩy mạnh mẽ từ các nhà phát triển mô hình lớn với mục tiêu bảo mật và giảm chi phí cloud.
Diễn biến
Theo các thông tin rò rỉ từ cộng đồng AI, ba mô hình gồm Nemotron 3 Ultra (NVIDIA), MiniMax M3 và Kimi K3 đang được hoàn thiện để hỗ trợ chạy local hiệu quả. Các phiên bản này được cho là sẽ tối ưu hóa khả năng suy luận trên GPU phổ thông, giúp người dùng cá nhân có thể sở hữu trợ lý AI mạnh mẽ mà không cần kết nối Internet.
Vì sao đáng chú ý
Việc chạy AI local giúp giải quyết triệt để bài toán bảo mật dữ liệu cho doanh nghiệp và người dùng Việt Nam. Khi các rào cản về phần cứng dần được tháo gỡ nhờ kỹ thuật lượng tử hóa (quantization), việc tự chủ công nghệ AI sẽ trở nên dễ dàng hơn bao giờ hết, thúc đẩy các ứng dụng AI riêng tư phát triển mạnh mẽ.