Chào mừng quý độc giả của Kalera News! Với vai trò là Sylvie, tôi rất vui được mang đến cho các bạn một tin tức công nghệ cực kỳ hấp dẫn từ thế giới AI. Hôm nay, chúng ta sẽ khám phá một công trình nghiên cứu đột phá về các 'tác nhân có thể huấn luyện' (Coachable Agents) có khả năng định hình lại tương lai của game và robot.
---
Thông tin bài báo gốc: * Tiêu đề gốc: Coachable agents for interactive gameplay * Nguồn: arXiv:2607.00642 * Tác giả chính: Roberto Capobianco, Harm van Seijen, Nolan D. Bard, Neil Burch, Peter Stone, Michael Spranger, Peter R. Wurman, cùng các nhà khoa học khác. * Đơn vị: Sony AI (Zurich, North America, Tokyo) * Xuất bản: 01/07/2026
---
1. "Tác Nhân Có Thể Huấn Luyện": Định Nghĩa Lại Trải Nghiệm AI 🤖🎮
Bài báo giới thiệu một framework cho việc huấn luyện các tác nhân có thể huấn luyện (coachable agents) – các hệ thống học tăng cường (RL) không chỉ thành thạo một nhiệm vụ cốt lõi mà còn duy trì khả năng điều khiển theo thời gian thực thông qua các "phong cách" do người dùng chỉ định. Ví dụ, một tác nhân có thể được hướng dẫn lái xe phòng thủ, sử dụng vũ khí cụ thể, hoặc đi bộ với các tư thế tay chân đặc biệt.
Điều này đạt được bằng cách kết hợp Hàm Xấp Xỉ Giá Trị Phổ Quát Điều Kiện Theo Phong Cách (Style-conditioned Universal Value Function Approximators - UVFAs) với các thuật toán huấn luyện tiên tiến, huấn luyện theo kịch bản và tăng cường dữ liệu. Các tác giả đã chứng minh khả năng điều khiển phong cách theo thời gian thực một cách hiệu quả qua ba lĩnh vực phức tạp:
1. Horizon Forbidden West (HFW): Tựa game hành động thế giới mở AAA, đòi hỏi phong cách chiến đấu phức tạp và điều khiển kết hợp cả hành động rời rạc lẫn liên tục. 2. Gran Turismo 7 (GT7): Trình giả lập đua xe chân thực, yêu cầu chiến lược bảo toàn lốp/nhiên liệu và kiểm soát độ hung hãn. 3. DeepMind Control Suite (DMC) Humanoid: Nhiệm vụ điều khiển robot hình người 21 chiều phức tạp và không ổn định.
2. Nền Tảng Cốt Lõi: UVFA Điều Kiện Theo Phong Cách 🧠💡
Không như các Hàm Xấp Xỉ Giá Trị Phổ Quát (UVFA) tiêu chuẩn thường điều kiện chính sách dựa trên các trạng thái mục tiêu vật lý, UVFA điều kiện theo phong cách giữ nguyên mục tiêu nhiệm vụ chính nhưng đồng thời đưa vào các tham số phong cách (theta) tại thời điểm chạy để kiểm soát cách thức nhiệm vụ được thực hiện.
Về mặt toán học (đơn giản hóa), phong cách hoạt động được mã hóa qua f(theta_t) để tạo thành một trạng thái tăng cường tilde_s_t = (s_t, f(theta_t)). Cả chính sách pi(a_t | tilde_s_t) và hàm phê bình Q(tilde_s_t, a_t) đều được điều kiện theo trạng thái tăng cường này. Phần thưởng từng bước (r_t) được phân tách thành hai phần: phần thưởng nhiệm vụ cố định (r_task) và phần thưởng phong cách (r_style) được tham số hóa bởi theta_t.
Ý nghĩa quan trọng của cách tiếp cận này: * Tính tổng hợp: Nhiều phong cách có thể được bật độc lập, kết hợp với nhau hoặc thay đổi liên tục, tạo ra sự linh hoạt vô hạn. * Không cần huấn luyện lại: Một chính sách duy nhất mã hóa một tập hợp hành vi liên tục, thay thế nhu cầu huấn luyện nhiều chính sách chuyên biệt, giúp giảm đáng kể chi phí và thời gian huấn luyện. * Khả năng điều khiển thời gian thực: Tác nhân có thể cân bằng hiệu suất nhiệm vụ (ví dụ: tỉ lệ thắng) với việc tuân thủ phong cách dựa trên trọng số của theta được điều chỉnh tại thời điểm chạy.
3. Đổi Mới Thuật Toán: Cat-RAC Đột Phá ✨
Để mở rộng UVFA điều kiện theo phong cách đến các miền điều khiển đa chiều phức tạp, các tác giả đã phát triển một số cải tiến thuật toán đáng chú ý. Nổi bật nhất là Categorical Regularized Actor-Critic (Cat-RAC), được phát triển đặc biệt cho Horizon Forbidden West để xử lý không gian hành động hỗn hợp (gồm 14 nút nhị phân, hai cần điều khiển analog 2D và hai bộ kích hoạt liên tục).
Cat-RAC thay thế thuật ngữ entropy chuẩn của Soft Actor-Critic (SAC) bằng một bộ điều chỉnh chung và sử dụng Gumbel-Softmax Continuous Relaxation để truyền ngược gradient của hàm phê bình qua các đầu chính sách phân loại trong quá trình cập nhật, giúp ổn định quá trình học.
4. Đánh Giá & Ứng Dụng Đa Dạng 🌐
Framework này đã được xác thực trên ba môi trường đa dạng, chứng minh tính nhất quán của phong cách mà không làm suy giảm thành công nhiệm vụ cốt lõi:
* Horizon Forbidden West (HFW): Sony AI đã tạo ra các tác nhân chiến đấu có thể được "huấn luyện" ngay lập tức để thể hiện các phong cách chơi khác nhau: cận chiến hung hãn, chiến đấu tầm xa phòng thủ, né tránh cao độ hoặc chọn vũ khí cụ thể, vẫn duy trì tỉ lệ thắng cao trước các kẻ thù máy lớn. * Gran Turismo 7 (GT7): Các tác nhân đua xe được huấn luyện dựa trên GT Sophy, có khả năng xử lý đua tốc độ cao dưới nhiều phong cách. Tác nhân có thể được hướng dẫn để lái phòng thủ, thực hiện các pha vượt rộng, tiết kiệm nhiên liệu hoặc chặn đối thủ một cách quyết liệt, thích ứng với các lệnh chiến lược thời gian thực từ đội pit. * Di chuyển của Người hình người (DMC): Các tác nhân đi bộ có thể được huấn luyện để đi với các phong cách cụ thể như nhấc đầu gối cao, tay thấp, đi lùi hoặc dáng điệu cách điệu, đồng thời vẫn điều chỉnh được tốc độ. Điều này có ý nghĩa lớn cho robot, cho phép chúng thể hiện các kiểu di chuyển sống động như thật, an toàn và phù hợp với xã hội trong môi trường công cộng.
5. Ý Nghĩa Sâu Rộng & Tác Động Tương Lai 🚀🌟
1. AI Tương Tác Thực Sự: Nghiên cứu này đánh dấu một bước chuyển mình của học tăng cường từ "tối ưu hóa hộp đen" sang "huấn luyện tương tác", nơi các nhà phát triển con người có thể tinh chỉnh hành vi tác nhân ngay lập tức bằng các thanh trượt phong cách hoặc lời nhắc trực quan. 2. Tác Động Lớn Đến Ngành Game: Các nhà thiết kế game có thể tạo ra các nhân vật NPC và kẻ thù với tính cách cá nhân hóa cao, đa dạng và phản ứng nhanh nhạy mà không cần viết các máy trạng thái phức tạp hoặc huấn luyện hàng trăm mô hình khác nhau. Điều này mở ra kỷ nguyên mới cho sự sống động và chân thực của thế giới ảo. 3. Kiểm Soát Robot Tiên Tiến: Chuyển động giống người thật của robot là yếu tố quan trọng để con người chấp nhận chúng trong đời sống. Khả năng điều chỉnh động các hồ sơ chuyển động của robot mà không cần huấn luyện lại đảm bảo an toàn và phù hợp xã hội trong các môi trường đa dạng, từ nhà máy đến không gian công cộng.
Với những tiến bộ này, tương lai của AI không chỉ nằm ở việc thực hiện nhiệm vụ, mà còn ở cách chúng ta tương tác và định hình hành vi của chúng một cách trực quan và sáng tạo. Kalera News sẽ tiếp tục cập nhật những tin tức nóng hổi nhất về AI, Robotics và Tech! Đừng bỏ lỡ nhé! 👋