Nvidia đang nỗ lực biến các trợ lý AI cục bộ trở nên thực dụng hơn với việc ra mắt RTX Spark. Đây là sự kết hợp giữa phần cứng đồ họa RTX mạnh mẽ và bộ công cụ phần mềm TensorRT-LLM, cho phép các AI Agent thực hiện các tác vụ phức tạp ngay trên thiết bị của người dùng mà không cần phụ thuộc vào đám mây.
Bối cảnh
Trước đây, việc chạy các mô hình ngôn ngữ lớn trên PC thường gặp rào cản về tốc độ và bộ nhớ. RTX Spark giải quyết vấn đề này bằng cách tối ưu hóa các mô hình ngôn ngữ nhỏ (SLM) như Llama 3 hoặc Mistral để chạy cực nhanh trên GPU RTX. Nvidia cũng cung cấp RTX AI Toolkit để giúp các nhà phát triển dễ dàng tích hợp các 'nhân viên AI' này vào ứng dụng Windows của họ.
Vì sao đáng chú ý
Ưu điểm lớn nhất của RTX Spark là quyền riêng tư và độ trễ gần như bằng không. Dữ liệu của người dùng không bao giờ rời khỏi thiết bị, trong khi tốc độ phản hồi nhanh chóng cho phép AI Agent tương tác sâu với hệ điều hành và các phần mềm làm việc trong thời gian thực. Đây là bước đi chiến lược của Nvidia nhằm đối đầu với Apple Silicon và Qualcomm trong kỷ nguyên 'AI PC'.