#Lightseek

Ra mắt TokenSpeed — Engine inference LLM mã nguồn mở đạt hiệu suất TensorRT

TokenSpeed là engine inference LLM mới với hiệu suất ngang ngửa TensorRT-LLM nhưng dễ sử dụng như vLLM, được phát hành dưới giấy phép MIT.