UniScale: Tối ưu hóa đồng thời việc điều phối mô hình và mở rộng quy mô suy luận
UniScale là khung làm việc trực tuyến giúp hợp nhất model routing và test-time scaling vào một không gian tối ưu duy nhất, giúp cân bằng chất lượng và chi phí tốt hơn.
UniScale là khung làm việc trực tuyến giúp hợp nhất model routing (chuyển đổi giữa các quy mô mô hình) và test-time scaling (điều chỉnh tính toán khi suy luận) vào một không gian tối ưu duy nhất. Phương pháp này sử dụng LinUCB để học các chính sách suy luận, giúp đạt được sự cân bằng giữa chất lượng và chi phí tốt hơn trong các kịch bản động.
Vì sao đáng chú ý
Giải quyết bài toán tối ưu chi phí hạ tầng AI mà không làm giảm chất lượng phản hồi một cách đột ngột.
