Allen Institute for AI (AI2) vừa công bố phiên bản OlmoEarth v1.1, một bước tiến quan trọng trong việc ứng dụng AI vào dữ liệu vệ tinh. Điểm nổi bật nhất của dòng mô hình này là khả năng giảm tới 3 lần chi phí tính toán (compute cost) so với phiên bản tiền nhiệm, mở đường cho việc phân tích dữ liệu ở quy mô hành tinh với chi phí thấp hơn nhiều.
Cấu trúc Token mới
Trong các mô hình transformer xử lý dữ liệu viễn thám, hiệu năng và chi phí phụ thuộc lớn vào kích thước mô hình và độ dài chuỗi token. Ở phiên bản v1.1, đội ngũ nghiên cứu đã thiết kế lại cách biểu diễn dữ liệu bằng cách gộp các độ phân giải khác nhau (ví dụ từ dữ liệu Sentinel-2) vào một token duy nhất thay vì tách riêng như trước đây.
Thay đổi này giúp giảm tổng số lượng token xuống 3 lần. Dù việc gộp token theo cách thông thường thường dẫn đến sụt giảm hiệu năng nghiêm trọng, AI2 đã khắc phục bằng cách điều chỉnh quy trình tiền huấn luyện (pre-training regimen), giúp mô hình duy trì được độ chính xác trên các bộ dữ liệu đo chuẩn (benchmarks) về môi trường và nông nghiệp.
Vì sao đáng chú ý
Việc xử lý dữ liệu vệ tinh để theo dõi biến đổi khí hậu, quản lý rừng hay canh tác nông nghiệp thường đòi hỏi hạ tầng tính toán khổng lồ. Việc giảm 3 lần chi phí vận hành giúp các tổ chức bảo tồn và cộng đồng nghiên cứu tại Việt Nam có thể triển khai các bản đồ theo dõi tài nguyên ở quy mô quốc gia hoặc khu vực một cách thường xuyên hơn.
OlmoEarth v1.1 được huấn luyện trên cùng một tập dữ liệu với v1, giúp các nhà nghiên cứu dễ dàng cô lập và đánh giá tác động của các thay đổi về phương pháp luận. Bộ trọng số (weights) cho các kích cỡ Base, Tiny và Nano đã được phát hành công khai, hỗ trợ tối đa cho cộng đồng mã nguồn mở.