Bojan Tunguz, một chuyên gia dữ liệu nổi tiếng, vừa chia sẻ thử nghiệm cài đặt và chạy mô hình Qwen3 8B trên một máy tính cũ sử dụng GPU Nvidia RTX 1070. Đáng chú ý, toàn bộ quy trình từ nâng cấp hệ điều hành đến cấu hình mô hình đều được thực hiện tự động bởi một AI agent điều khiển từ xa qua SSH.
Diễn biến
Sau khi nâng cấp từ Ubuntu 16.04 lên 24.04, Tunguz đã sử dụng công cụ Codex trên máy Mac để kết nối và ra lệnh cho AI tự động cài đặt các thư viện cần thiết để chạy Qwen3 8B. Kết quả cho thấy mô hình hoạt động ổn định và phản hồi tương đối nhanh dù chạy trên phần cứng đã ra mắt từ nhiều năm trước.
Vì sao đáng chú ý
Thử nghiệm này chứng minh hai điều quan trọng: khả năng tối ưu hóa của các mô hình 8 tỷ tham số (8B) hiện nay cho phép chúng chạy tốt trên VRAM hạn chế, và sự hiệu quả của AI agent trong việc thực hiện các tác vụ sysadmin phức tạp. Với cộng đồng AI tại Việt Nam, đây là tin vui cho những ai muốn tự vận hành mô hình ngôn ngữ lớn cục bộ (local LLM) trên phần cứng không quá đắt đỏ.