NVIDIA vừa công bố Bộ công cụ NeMo Agent (trước đây được biết đến là AgentIQ hay AI-Q), đánh dấu một động thái mạnh mẽ nhất của hãng vào hệ sinh thái phần mềm AI tác nhân (agentic AI). Bản phát hành này được thiết kế để giải quyết một điểm nhức nhối quan trọng trong ngành: thu hẹp khoảng cách giữa các tác nhân AI thử nghiệm (proof-of-concept) còn dễ vỡ và các hệ thống doanh nghiệp AI tự chủ, bảo mật, hoạt động ở cấp độ sản xuất.
Bộ công cụ NeMo Agent hoạt động như một lớp điều phối và tạo hồ sơ mỏng, độc lập với framework, tích hợp liền mạch với các ngăn xếp phát triển hiện có. Thay vì buộc các nhà phát triển phải viết lại mã của họ, nó cho phép họ giữ lại các khối xây dựng yêu thích – như LangChain, CrewAI, hoặc các tác nhân Python tùy chỉnh – đồng thời bọc chúng trong một hạ tầng bảo mật, quản lý vòng đời và framework tạo hồ sơ ở cấp độ sản xuất. Đây chính là giải pháp mà các doanh nghiệp cần để triển khai AI một cách tự tin. 🎯
---
Cấu Trúc Cốt Lõi của NeMo Agent Toolkit
Nền tảng tác nhân mới của NVIDIA bao gồm nhiều thành phần chính được thiết kế để giải quyết vấn đề điều phối, bảo mật, thực thi và đánh giá:
1. NVIDIA NemoClaw (Bản Thiết Kế Điều Phối Doanh Nghiệp)
NemoClaw là lớp điều phối cốt lõi. Nó cung cấp cho các nhà phát triển phần mềm doanh nghiệp những khối xây dựng mã nguồn mở để thiết kế, phối hợp và mở rộng các luồng công việc đa tác nhân. NemoClaw cho phép các nhà phát triển xây dựng "đồng nghiệp AI" hoạt động dài hạn, có khả năng tự động chuyển giao nhiệm vụ, quản lý trạng thái hội thoại và khuếch đại chuyên môn của con người trên các môi trường mạng phức tạp.
2. OpenShell (Môi Trường Runtime Bảo Mật "Hộp Cát")
Một nút thắt lớn cho việc triển khai AI trong doanh nghiệp là an toàn và bảo mật – đặc biệt khi các tác nhân tự chủ được phép chạy mã hoặc truy cập cơ sở dữ liệu. OpenShell là một lớp runtime bảo mật, hoạt động trong môi trường "hộp cát" (sandboxed), thực thi các kiểm soát quyền riêng tư và chính sách nghiêm ngặt: * Thực thi trong Hộp Cát: Chạy mã không đáng tin cậy do các tác nhân tạo ra trong một vùng chứa an toàn, biệt lập. * Chính sách Mạng & Hệ thống Tệp: Các nhà phát triển có thể định nghĩa các quy tắc truy cập mạng nghiêm ngặt (ví dụ: danh sách cho phép các điểm cuối thoát) và giới hạn truy cập hệ thống tệp. * Lõi Độc Lập GPU: Cả OpenShell và NemoClaw đều là các thành phần chỉ dùng CPU, nghĩa là chúng có thể được triển khai ở bất cứ đâu, mặc dù suy luận mô hình chạy nhanh nhất khi tích hợp với TensorRT-LLM và GPU của NVIDIA.
3. AI-Q (Trí Tuệ Tác Nhân) – Các Bản Thiết Kế & Quy Trình Làm Việc
AI-Q cung cấp các kiến trúc tham chiếu tối ưu, sẵn có cho các tác vụ doanh nghiệp phổ biến, bao gồm: * Tự động hóa Hỗ trợ Khách hàng: Các tác nhân giải quyết an toàn các truy vấn của người dùng bằng cách truy cập cơ sở kiến thức và API. * Đánh giá Mã & Tài liệu CI Tự động: Các bản thiết kế cho công cụ phát triển kiểm toán và duy trì cơ sở mã. * Giám sát Đường ống Dữ liệu: Các "người canh gác" tự động phát hiện và sửa chữa các bất thường dữ liệu. * Báo cáo & Phân tích Tài chính: Các tác nhân có độ chính xác cao, có khả năng phân tích các tài liệu quy định và tạo ra thông tin chi tiết.
---
Các Tính Năng Chính Dành Cho Nhà Phát Triển
Các nhà phát triển có thể bắt đầu xây dựng và tối ưu hóa các luồng công việc tác nhân với NeMo Agent Toolkit bằng cách sử dụng một số tính năng cốt lõi:
* Registry Hàm: Bất kỳ hàm Python hoặc đối tượng gọi được (callable) nào cũng có thể được đăng ký bằng @aiq.tool hoặc @aiq.agent để trở thành một node có thể tái sử dụng trong hệ thống đa tác nhân. * YAML Quy trình Làm việc: Một Đồ thị Chu trình Hướng dẫn (DAG) khai báo cách các tác nhân, công cụ, điểm cuối LLM, chính sách thử lại và các tham số dự phòng kết nối với nhau. * Profiler Decorator: Một decorator @aiq.profile tùy chọn cho phép các nhà phát triển ngay lập tức thêm đo lường từ xa sâu sắc (deep telemetry) và theo dõi mà không cần thay đổi bất kỳ logic nghiệp vụ cơ bản nào. * Thông số Kỹ thuật Đánh giá (Evaluation Spec): Các nhà phát triển có thể viết các tiêu chí đánh giá trong YAML, định nghĩa bộ dữ liệu và số liệu, sau đó có thể chạy tự động trong các quy trình CI/CD thông qua aiq eval.
```python # NVIDIA NeMo Agent Toolkit — simple sandboxed setup example from nvidia_agent_toolkit import AgentBuilder, OpenShellRuntime from nvidia_agent_toolkit.tools import WebSearch, CodeExecutor from nvidia_agent_toolkit.policies import EnterprisePolicy
Initialize the secure OpenShell runtime with egress restrictions
runtime = OpenShellRuntime( network_policy="egress-allowlist", allowed_endpoints=["api.github.com", "huggingface.co"] )
Register tools and build the enterprise-ready agent
agent = AgentBuilder("enterprise-assistant")\ .add_runtime(runtime)\ .add_tool(WebSearch())\ .add_tool(CodeExecutor())\ .add_policy(EnterprisePolicy())\ .build() ```
---
Cài Đặt & Bắt Đầu
Bắt đầu với bộ công cụ mã nguồn mở này chỉ mất vài bước bằng cách sử dụng trình quản lý gói uv:
```bash # 1. Clone the NeMo Agent Toolkit repository git clone [email protected]:NVIDIA/NeMo-Agent-Toolkit.git aiqtoolkit cd aiqtoolkit
2. Update submodules recursively
git submodule update --init --recursive
3. Fast bootstrap with uv
uv pip install -e . ```
Bằng việc mở mã nguồn Bộ công cụ NeMo Agent, NVIDIA đang dịch chuyển trọng tâm của AI doanh nghiệp từ các giao diện trò chuyện một mô hình sang các mạng lưới tác nhân tự chủ, bảo mật và phân tán. Bản phát hành này giảm đáng kể ma sát khi triển khai các tác nhân trong các môi trường được quy định, đảm bảo rằng bảo mật, theo dõi và đánh giá xác định được tích hợp trực tiếp vào nền tảng. Đây là một bước tiến quan trọng hướng tới tương lai của AI doanh nghiệp! ✨