Hugging Face vừa chính thức phát hành Ettin Reranker, bộ 6 mô hình reranker (xếp hạng lại) mã nguồn mở giúp tối ưu hóa đáng kể hiệu năng cho các pipeline tìm kiếm thông tin hiện đại.
Diễn biến
Các mô hình này được xây dựng trên kiến trúc ModernBERT của Đại học Johns Hopkins, hỗ trợ context lên tới 8.000 token. Đội ngũ phát triển sử dụng phương pháp chưng cất (distillation) từ mô hình lớn mxbai-rerank-large-v2 để nén tri thức vào các kích thước từ 17 triệu đến 1 tỷ tham số. Điểm vượt trội là khả năng xử lý nhanh hơn 1,7 đến 8,3 lần nhờ tối ưu hóa Flash Attention 2 và kiến trúc không đệm (unpadded).
Vì sao đáng chú ý
Với cộng đồng AI tại Việt Nam đang bùng nổ các ứng dụng RAG (Retrieval-Augmented Generation), việc có một bộ reranker nhẹ, mạnh và hỗ trợ context dài là cực kỳ quan trọng. Ettin Reranker cho phép các hệ thống xử lý tài liệu dài hiệu quả hơn mà không làm tăng đáng kể chi phí hạ tầng, đồng thời giấy phép Apache 2.0 giúp doanh nghiệp yên tâm triển khai thương mại.