Thành viên nhóm phát triển Hugging Face vừa chia sẻ những trải nghiệm thực tế đầu tiên khi vận hành trực tiếp các mô hình AI tạo hình ảnh và video ngay trên thiết bị cá nhân nhờ phần cứng DGX Spark do NVIDIA cung cấp. Thử nghiệm này đánh dấu một bước chuyển dịch đáng chú ý khi các tác vụ AI tạo sinh phức tạp nay đã có thể xử lý mượt mà tại chỗ.
Bối cảnh
Theo chia sẻ từ thành viên Hugging Face, thiết bị DGX Spark được NVIDIA tài trợ đã thể hiện hiệu năng ấn tượng trong việc xử lý các tác vụ đồ họa nặng. Việc chạy cục bộ (local) các mô hình tạo sinh hình ảnh và video vốn là thách thức lớn đối với phần cứng thông thường do yêu cầu khắt khe về bộ nhớ VRAM và năng lượng tính toán của GPU. Sự xuất hiện của dòng phần cứng chuyên dụng này hứa hẹn sẽ thay đổi cách các nhà phát triển thử nghiệm AI.
Diễn biến
Trong các thử nghiệm ban đầu, hệ thống DGX Spark được mô tả là hoạt động cực kỳ mạnh mẽ khi gánh vác các tác vụ sinh nội dung đa phương tiện tại chỗ. Sự kết hợp giữa tối ưu hóa phần cứng từ NVIDIA và các thư viện nguồn mở của Hugging Face giúp giảm đáng kể độ trễ truyền tải dữ liệu. Điều này cho phép các kỹ sư AI rút ngắn chu kỳ thử nghiệm sản phẩm một cách trực quan ngay trên thiết bị cá nhân.
Vì sao đáng chú ý
Xu hướng chạy mô hình AI cục bộ đang ngày càng thu hút sự quan tâm của cộng đồng công nghệ nhờ ưu điểm bảo mật dữ liệu và không phụ thuộc vào kết nối Internet đám mây. Đối với các nhà phát triển Việt Nam, việc tối ưu hóa phần cứng chuyên dụng này sẽ mở ra cơ hội tự chủ công nghệ, giúp tối ưu hóa chi phí vận hành và thử nghiệm các mô hình AI tạo sinh mà không cần phụ thuộc vào các dịch vụ cloud đắt đỏ.