Together AI vừa công bố sự ủng hộ mạnh mẽ dành cho TokenSpeed, một engine suy luận mã nguồn mở mới đang gây chú ý trong cộng đồng AI.
Diễn biến
TokenSpeed hiện đã có bản preview với giấy phép MIT, cho phép bất kỳ ai cũng có thể sử dụng và đóng góp. Engine này tập trung vào việc tối ưu hóa tốc độ sinh token (token generation speed), giúp các mô hình ngôn ngữ lớn hoạt động mượt mà hơn trên nhiều loại phần cứng khác nhau. Together AI khẳng định đây là một bước tiến quan trọng cho sự đổi mới trong lĩnh vực inference mã nguồn mở.
Vì sao đáng chú ý
Việc có thêm các engine inference hiệu năng cao và mở như TokenSpeed giúp cộng đồng công nghệ Việt Nam có thêm lựa chọn khi triển khai AI tại chỗ (on-premise). Giấy phép MIT là một điểm cộng lớn, cho phép các doanh nghiệp tùy biến sâu mà không lo ngại về vấn đề bản quyền gắt gao.