Google Research vừa giới thiệu TabFM, một mô hình nền tảng (foundation model) mới đột phá dành cho dữ liệu dạng bảng (tabular data) giúp loại bỏ hoàn toàn bước huấn luyện riêng biệt cho từng tập dữ liệu. Khác với các phương pháp học máy truyền thống yêu cầu các kỹ sư phải xây dựng lại mô hình từ đầu, tối ưu hóa siêu tham số (hyperparameter) và bảo trì pipeline phức tạp, TabFM xử lý việc dự đoán dữ liệu bảng như một bài toán học theo ngữ cảnh (in-context learning). Phương thức này cho phép tạo ra các dự đoán chính xác cho một bảng dữ liệu mới hoàn toàn chỉ trong một lượt xử lý (forward pass) duy nhất, giúp rút ngắn thời gian triển khai từ vài tuần xuống còn một lượt gọi API.
Diễn biến chi tiết
Theo công bố từ Google, phần lớn dữ liệu doanh nghiệp hiện nay nằm dưới dạng bảng trong các kho dữ liệu, CRM và sổ sách tài chính. Để khai thác chúng bằng các thuật toán truyền thống như XGBoost hay LightGBM, các nhà khoa học dữ liệu phải tốn rất nhiều công sức để làm sạch đầu vào, xử lý giá trị thiếu, mã hóa biến phân loại và liên tục giám sát hiện tượng trôi dạt dữ liệu (data drift) để tái huấn luyện. TabFM ra đời nhằm giải quyết triệt để gánh nặng vận hành này. Thay vì cập nhật trọng số mô hình, người dùng chỉ cần đưa các dữ liệu lịch sử kèm nhãn và hàng dữ liệu mới cần dự đoán vào chung một prompt thống nhất. Mô hình sẽ tự động phân tích và học trực tiếp mối quan hệ giữa các hàng và cột ngay trong quá trình chạy (runtime) để trả về kết quả dự đoán tức thì.
Phân tích kỹ thuật & Công nghệ
Để vượt qua các giới hạn về độ dài ngữ cảnh và mất cấu trúc 2D của các mô hình ngôn ngữ lớn (LLM) thông thường khi đọc bảng dữ liệu, TabFM kết hợp ưu điểm của hai kiến trúc thực nghiệm đi trước là TabPFN và TabICL. Google đã xây dựng một thiết kế lai mới dựa trên ba cơ chế cốt lõi. Đầu tiên là cơ chế chú ý (attention) xen kẽ giữa hàng và cột, giúp mô hình nắm bắt tốt các tương tác đặc trưng phức tạp mà không cần con người tự tạo feature (feature engineering). Tiếp theo là công nghệ nén hàng (row compression) giúp cô đọng thông tin của mỗi hàng thành một vector đậm đặc duy nhất để giảm tải tính toán. Cuối cùng, một causal Transformer sẽ xử lý chuỗi vector nén này bằng kỹ thuật in-context learning. Đáng chú ý, TabFM được pretrain hoàn toàn trên hàng trăm triệu tập dữ liệu tổng hợp (synthetic datasets) được tạo ra bởi các mô hình nhân quả cấu trúc (SCM), giúp mô hình nắm vững các tiên nghiệm toán học mà không cần tiếp xúc với dữ liệu nhạy cảm thực tế.
Ý kiến chuyên gia & Nhận định
Weihao Kong, nhà nghiên cứu tại Google Research, chia sẻ với VentureBeat rằng giá trị kinh tế thực sự của TabFM không nằm ở việc thay thế hoàn toàn các mô hình sản xuất đã được tối ưu hóa cực hạn cho từng tác vụ riêng biệt. Thay vào đó, nó mang lại tốc độ vượt trội cho các đội ngũ kỹ thuật tinh gọn, cho phép các nhà phân tích dữ liệu và kỹ sư backend thiết lập nhanh các mô hình baseline chất lượng cao mà không cần một đội ngũ khoa học dữ liệu chuyên trách quản lý vòng đời phức tạp. Trong các thử nghiệm trên bộ benchmark TabArena với 51 tập dữ liệu bảng khác nhau, dự đoán zero-shot của TabFM đã đạt hiệu năng tương đương hoặc thậm chí vượt trội hơn các baseline có giám sát được tinh chỉnh kỹ lưỡng.
Tác động & Tương lai
Sự xuất hiện của TabFM mở ra một hướng đi mới nhưng cũng đi kèm những đánh đổi về chi phí vận hành. Với TabFM, thời gian huấn luyện giảm về 0 nhưng độ trễ và chi phí tính toán khi inference sẽ cao hơn do Transformer phải xử lý toàn bộ ngữ cảnh lịch sử cho mỗi lượt dự đoán. Hiện tại, Google đã cung cấp mã nguồn TabFM dưới giấy phép Apache 2.0 kèm API tương thích với scikit-learn hỗ trợ cả JAX và PyTorch, nhưng trọng số mô hình trên Hugging Face vẫn bị giới hạn dưới giấy phép phi thương mại. Trong tương lai gần, Google dự kiến sẽ tích hợp TabFM trực tiếp vào Google BigQuery dưới dạng lệnh 'AI.PREDICT', hứa hẹn đưa việc dự đoán học máy phức tạp trở nên dễ dàng và dễ tiếp cận như một câu lệnh truy vấn cơ sở dữ liệu thông thường đối với người dùng cuối.