Hugging Face vừa công bố LeRobot v0.6.0, một bản cập nhật đột phá được kỳ vọng sẽ đóng lại vòng lặp học robot một cách toàn diện. Phiên bản này giới thiệu các chính sách mô hình thế giới (World Model Policies) như VLA-JEPA, FastWAM, LingBot-VA, một loạt các mô hình Thị giác-Ngôn ngữ-Hành động (VLA) mới như GR00T N1.7, MolmoAct2, EO-1, EVO1, Multitask DiT, cùng với API mô hình phần thưởng thống nhất (Robometer, TOPReward). Không chỉ dừng lại ở đó, LeRobot v0.6.0 còn bổ sung sáu điểm chuẩn mô phỏng mới, công cụ dòng lệnh lerobot-rollout hỗ trợ điều chỉnh bởi con người (human-in-the-loop) theo kiểu DAgger, khả năng huấn luyện FSDP và huấn luyện trên đám mây với HF Jobs. Đặc biệt, dữ liệu giờ đây được hỗ trợ chiều sâu, chú thích ngôn ngữ tự động bởi VLM, mã hóa video tùy chỉnh, và tốc độ tải dữ liệu nhanh hơn gấp 2 lần với bộ cài đặt nhẹ hơn 40%. Đây thực sự là một bước tiến lớn cho cộng đồng nghiên cứu và phát triển robot học. 🌟
1. Mô hình Thế giới: Khi Robot Biết 'Tưởng Tượng' Tương Lai 🧠🔮
LeRobot v0.6.0 nổi bật với ba chính sách mới cho phép robot học cách dự đoán hoặc 'tưởng tượng' tương lai trong quá trình huấn luyện. Điều này giúp cải thiện hiệu suất đáng kể mà vẫn giữ chi phí tính toán ở mức thấp.
* VLA-JEPA: Tưởng Tượng Mà Không Tốn Chi Phí Suy Luận VLA-JEPA đào tạo một mô hình VLA nhỏ gọn (xây dựng trên Qwen3-VL-2B) để dự đoán tương lai trong không gian tiềm ẩn. Điều đặc biệt là mô hình thế giới này sẽ biến mất khi suy luận, cung cấp sự giám sát mô hình thế giới với không thêm chi phí suy luận nào. Đây là một lợi thế lớn về hiệu quả.
* LingBot-VA: Dự Đoán Video và Hành Động Tự Hồi Quy LingBot-VA là một mô hình video-hành động tự hồi quy, có khả năng dự đoán cả video và hành động trong tương lai, từng phần nhỏ. Người dùng có thể lưu lại video được dự đoán để so sánh với kết quả thực tế, giúp đánh giá và tinh chỉnh. Mô hình này có thể chạy trên một GPU 24–32 GB.
* FastWAM: Nhanh Chóng Đến Hành Động FastWAM kết hợp một chuyên gia tạo video ~5B với một chuyên gia hành động nhỏ gọn trong cùng một mạng lưới. Khi suy luận, nó bỏ qua hoàn toàn bước tạo video ('mơ mộng') và trực tiếp khử nhiễu các khối hành động, giúp tăng tốc độ đáng kể. Mọi thứ đều hướng tới hiệu quả và tốc độ.
2. VLA: Kho Mô Hình Ngày Càng Phong Phú 🤖🌱
LeRobot v0.6.0 tiếp tục mở rộng bộ sưu tập các mô hình Thị giác-Ngôn ngữ-Hành động (VLA), mang đến nhiều lựa chọn mạnh mẽ cho các nhà phát triển:
* GR00T N1.7: Phiên Bản Nâng Cấp Mạnh Mẽ của NVIDIA Đây là phiên bản nâng cấp của mô hình nền tảng đa dạng hình thái mở mới nhất từ NVIDIA. Nó sử dụng Cosmos-Reason2-2B (dựa trên Qwen3-VL) làm VLM và một đầu hành động khớp luồng. Đáng chú ý, nó đã được kiểm định ngang bằng với Isaac-GR00T gốc của NVIDIA.
* MolmoAct2: Tích Hợp Toàn Diện từ Allen Institute Mô hình MolmoAct2 của Allen Institute for AI giờ đây được tích hợp hoàn chỉnh, hỗ trợ tinh chỉnh, LoRA, đánh giá và triển khai. Mô hình này yêu cầu khoảng 12 GB VRAM cho suy luận (bf16) và có thể tinh chỉnh LoRA trên một GPU 24 GB.
* EO-1: Học Từ Dữ Liệu Xen Kẽ EO-1 là một mô hình VLA được huấn luyện trước trên dữ liệu thị giác-văn bản-hành động xen kẽ. Với xương sống Qwen2.5-VL-3B và đầu hành động khớp luồng, nó hứa hẹn hiệu suất mạnh mẽ.
* Multitask DiT: Sức Mạnh của Diffusion Transformer Mang công thức TRI Large Behavior Models vào LeRobot, Multitask DiT là một biến đổi khuếch tán với khoảng 450M tham số, được điều kiện hóa bởi nhúng thị giác và ngôn ngữ CLIP. Nó hỗ trợ cả mục tiêu khuếch tán và khớp luồng.
* EVO1: VLA Siêu Nhẹ Chỉ Với 0.77B Tham Số Một VLA cực kỳ nhẹ, EVO1 đóng gói chính sách của mình chỉ trong 0.77 tỷ tham số. Nó sử dụng xương sống InternVL3-1B và một đầu hành động khớp luồng, hỗ trợ tinh chỉnh hai giai đoạn và Phân đoạn thời gian thực (Real-Time Chunking).
3. Mô hình Phần thưởng: Phát Hiện Thành Công và Đánh Giá Tiến Độ 🏆📈
LeRobot v0.6.0 giới thiệu API mô hình phần thưởng thống nhất (lerobot.rewards), mở ra khả năng phát hiện thành công và ước tính tiến độ của tác vụ.
* Robometer (lerobot/Robometer-4B): Mô Hình Phần Thưởng Đa Năng Robometer là một mô hình phần thưởng đa năng được huấn luyện trước, xây dựng trên Qwen3-VL-4B. Nó có khả năng chấm điểm tiến độ và thành công của tác vụ dựa trên video thô và hướng dẫn ngôn ngữ mà không cần huấn luyện cụ thể cho từng tác vụ.
* TOPReward: Phần Thưởng Zero-Shot Hoàn Toàn TOPReward là một hàm phần thưởng zero-shot hoàn toàn. Nó sử dụng một VLM sẵn có (Qwen3-VL) và đọc xác suất logarit của từ khóa 'True' dựa trên video quỹ đạo và hướng dẫn tác vụ. Điều này cho phép đánh giá hiệu quả mà không cần thiết lập phức tạp.
4. Dữ liệu: Tải Nhanh Hơn, Dữ Liệu Phong Phú Hơn 💾⚡
Các cải tiến về xử lý dữ liệu trong LeRobot v0.6.0 hứa hẹn mang lại trải nghiệm mượt mà và hiệu quả hơn:
* Mã Hóa Video Tùy Chỉnh Toàn Diện Người dùng giờ đây có thể tùy chỉnh các tham số mã hóa đầy đủ như bộ mã hóa/giải mã (codec), chất lượng, định dạng pixel, GOP và cài đặt sẵn. Tính năng vcodec=auto còn tự động dò tìm các bộ mã hóa phần cứng (NVENC, VideoToolbox, VAAPI, QSV) trước khi chuyển sang AV1 phần mềm, tối ưu hóa hiệu suất.
* Hỗ Trợ Chiều Sâu (Depth) Toàn Diện Chỉ cần cắm Intel RealSense và bật use_depth: true, bạn có thể ghi lại bản đồ chiều sâu theo milimét, nén dưới dạng luồng video chiều sâu 12-bit nhỏ gọn. Tính năng này hoạt động trên nhiều nền tảng robot như SO-100/101, Koch, OpenArm, reBot, Unitree G1 và nhiều hơn nữa, mở ra cánh cửa cho các ứng dụng robot nhận thức môi trường tốt hơn.
* Tối Ưu Hóa Hiệu Suất và Cài Đặt Việc cài đặt LeRobot giờ đây nhẹ hơn 40% và đạt tốc độ tải dữ liệu nhanh hơn tới 2 lần. Điều này mang lại một trải nghiệm mượt mà và hiệu quả hơn đáng kể cho quá trình học robot, giảm bớt rào cản kỹ thuật và tăng tốc độ nghiên cứu.