Erik Kaum vừa công bố MaxSim, một kernel chuyên dụng cho các mô hình truy xuất tương tác muộn (late interaction models) như ColBERT và PyLate, hiện đã có mặt trên Hugging Face.
Diễn biến
Nút thắt cổ chai lớn nhất của các hệ thống truy xuất hiện nay là việc phải tính toán toàn bộ ma trận tương đồng (similarity matrix), gây tốn kém tài nguyên. MaxSim giải quyết vấn đề này bằng kỹ thuật "tiled scoring", kết hợp với các tối ưu phần cứng như simdgroup_matrix trên chip Apple (Metal) và WMMA trên NVIDIA. Kernel này cho phép tính toán trực tiếp mà không cần khởi tạo toàn bộ ma trận dữ liệu.
Vì sao đáng chú ý
Với các kỹ sư AI tại Việt Nam đang triển khai hệ thống RAG (Retrieval-Augmented Generation) quy mô lớn, MaxSim mang lại hiệu quả kinh tế rõ rệt: tốc độ truy xuất tăng 3-5 lần đồng nghĩa với việc giảm đáng kể độ trễ (latency) và chi phí hạ tầng. Đây là một bước tiến quan trọng trong việc đưa các kiến trúc truy xuất phức tạp vào ứng dụng thực tế với hiệu suất cao.