Nghiên cứu mới mang mã số arXiv:2608.13573 công bố dữ liệu đo lường hệ thống phục vụ mô hình ngôn ngữ lớn (LLM serving) thu thập liên tục trong suốt một năm từ nền tảng đám mây Chutes. Đây là nguồn dữ liệu thực tế hiếm hoi giúp cộng đồng kỹ thuật quan sát chi tiết sự biến thiên của lưu lượng truy cập thực tế, hành vi tương tác giữa người dùng và mô hình, cũng như các bài toán then chốt trong hạ tầng tính toán như cơ chế lưu đệm (caching) và cân bằng tải (load-balancing).
Theo nhóm tác giả bài báo trên arXiv cs.AI, việc phục vụ các mô hình ngôn ngữ lớn đã trở thành khối lượng công việc trọng yếu trên các hạ tầng đám mây hiện nay. Dù vậy, phần lớn các nghiên cứu trước đây về LLM serving gặp hạn chế lớn về quy mô và phạm vi khảo sát. Các tập dữ liệu đo lường cũ thường chỉ ghi nhận lưu lượng trong những khoảng thời gian ngắn hoặc dựa vào lưu lượng giả lập, do đó thiếu khả năng phản ánh chính xác cách người dùng tương tác với hệ thống khi vận hành thực tế cũng như sự thay đổi của tải công việc theo thời gian.
Điểm khác biệt của tập dữ liệu từ Chutes là ghi nhận toàn bộ hoạt động sản xuất trong vòng một năm trên nhiều mô hình khác nhau, bao gồm cả các mô hình phổ biến lẫn các mô hình ít người dùng hơn (long-tail models). Nhóm nghiên cứu đã phân tích tải công việc dưới nhiều góc độ: mức độ tổng hợp, biến thiên theo thời gian, cấp độ từng mô hình và cấp độ từng người dùng. Cách tiếp cận này giúp bộc lộ cấu trúc tương tác chi tiết giữa người dùng và hệ thống vốn thường bị che khuất khi chỉ nhìn vào số liệu trung bình tổng thể.
Nhóm tác giả cho biết sẽ phát hành công khai toàn bộ tập dữ liệu đo lường một năm này đi kèm bài báo khoa học. Động thái này nhằm hỗ trợ các nhà nghiên cứu và kỹ sư hạ tầng có thể trực tiếp đánh giá, thử nghiệm các giải pháp tối ưu hệ thống phục vụ LLM trên dữ liệu thực tế mà không cần phụ thuộc vào các tập mẫu lấy lát cắt ngắn hay dữ liệu tổng hợp nhân tạo. Thông tin chi tiết về giấy phép phân phối dữ liệu và thời điểm mở kho lưu trữ mã nguồn cụ thể chưa được đề cập chi tiết trong phần tóm tắt ban đầu của công bố.