Đơn vị phát triển mô hình trí tuệ nhân tạo GLM5.2 vừa công bố kết quả thử nghiệm hiệu năng ấn tượng trên phần cứng của AMD. Cụ thể, hệ thống trang bị chip tăng tốc AMD MI355X đã đạt tốc độ xử lý lên tới 2.626 token trên giây cho mỗi node mạng.
Bối cảnh
Thị trường chip tăng tốc AI đang chứng kiến sự thống trị gần như tuyệt đối của Nvidia với dòng chip Hopper và Blackwell mới nhất. Sự xuất hiện của các kết quả tối ưu hóa sâu trên phần cứng AMD như dòng MI355X cho thấy các nhà phát triển phần mềm đang nỗ lực tìm kiếm giải pháp thay thế hiệu quả hơn về mặt chi phí.
Diễn biến
Theo báo cáo từ Wafer.ai được chia sẻ trên Hacker News, việc tối ưu hóa GLM5.2 trên cấu hình node AMD MI355X giúp đạt hiệu năng cực cao. Điểm đáng chú ý nhất là mức chi phí vận hành này được công bố thấp hơn gấp hai lần so với việc sử dụng hệ thống siêu chip Blackwell của Nvidia.
Vì sao đáng chú ý
Đối với cộng đồng phát triển AI tại Việt Nam, thông tin này mang lại hy vọng về việc tiếp cận các phần cứng chuyên dụng có hiệu năng trên giá thành (P/P) tốt hơn. Sự cạnh tranh sòng phẳng từ AMD sẽ giúp giảm bớt tình trạng khan hiếm nguồn cung GPU và hạ nhiệt giá thành dịch vụ đám mây trong tương lai gần.