Cloudflare vừa công bố một chính sách mới mang tính bước ngoặt, đặt ra thời hạn cho ngành công nghiệp AI phải tách biệt rõ ràng giữa các trình thu thập thông tin dùng cho mục đích tìm kiếm truyền thống và các bot AI dùng để đào tạo hoặc phục vụ tác nhân AI.
Kể từ ngày 15 tháng 9 năm 2026, cài đặt mặc định của Cloudflare sẽ tự động chặn các trình thu thập thông tin "hỗn hợp" (mixed-use crawlers) truy cập các trang web có đặt quảng cáo. Điều này có nghĩa là các bot kết hợp mục đích tìm kiếm, tác nhân và đào tạo sẽ bị chặn mặc định, trừ khi chủ sở hữu trang web điều chỉnh cài đặt khác. Thay đổi này sẽ áp dụng cho khách hàng mới, các trang web mới của khách hàng hiện tại và tất cả khách hàng miễn phí hiện có. 🚀
Sự Cần Thiết của Thay Đổi Này: Bảo Vệ Tài Sản Trí Tuệ và Hệ Sinh Thái Web
Cloudflare nhấn mạnh rằng hầu hết chủ sở hữu trang web đều muốn nội dung của họ được tìm thấy qua tìm kiếm và cả dịch vụ AI, nhưng họ cũng mong muốn được bảo vệ tài sản trí tuệ của mình khỏi việc bị sử dụng miễn phí. 🤔
Matthew Prince, Đồng sáng lập và CEO của Cloudflare, tuyên bố: "Hiện tại, phần lớn lưu lượng truy cập Internet không phải là của con người, chúng ta phải tiến xa hơn và hành động nhanh hơn để một hệ sinh thái bền vững có thể hình thành." Ông đề cập đến cột mốc gần đây khi lưu lượng bot vượt qua lưu lượng truy cập của con người lần đầu tiên, một sự thay đổi dự kiến sẽ xảy ra vào năm tới. Điều này làm tăng áp lực lên cơ sở hạ tầng và đòi hỏi một cách tiếp cận mới để quản lý dữ liệu trên mạng.
"Ông Lớn" Google và Phản Ứng
Cloudflare chỉ đích danh "công cụ tìm kiếm lớn nhất thế giới" (ám chỉ Google) đang có quyền truy cập "gấp đôi thông tin" so với các công ty AI khác. Lý do là gã khổng lồ tìm kiếm khiến khách hàng khó lòng duy trì khả năng được tìm thấy mà không bị sử dụng cho mục đích AI. 🧐
Google đã nhiều lần bác bỏ quan điểm này, lưu ý rằng họ cung cấp một bot có tên Google Extended cho phép chủ sở hữu trang web từ chối việc nội dung của họ được sử dụng cho đào tạo và các sản phẩm/dịch vụ AI như Gemini Apps và Vertex API. Việc sử dụng Google Extended không ảnh hưởng đến việc trang web xuất hiện trong Google Search. Tuy nhiên, Googlebot chủ lực của họ vẫn thu thập thông tin cho Tìm kiếm, bao gồm cả các tính năng AI như AI Overviews và AI Mode. Điều này tạo ra một ranh giới mờ nhạt và nhiều tranh cãi về việc liệu các nhà xuất bản có thực sự kiểm soát được nội dung của mình hay không. ⚖️
Giải Pháp của Cloudflare: "Trả Tiền Theo Lượt Sử Dụng"
Matthew Prince hy vọng rằng những thay đổi mặc định này sẽ khuyến khích các trình thu thập thông tin hỗn hợp tách biệt mục đích tìm kiếm với việc sử dụng cho tác nhân và đào tạo AI. Điều này không chỉ tăng tính minh bạch mà còn mở ra cơ hội thương mại cho các nhà cung cấp nội dung.
Trong khi Cloudflare cung cấp các sản phẩm giúp người dùng tự khởi chạy hệ thống AI của riêng họ, công ty cũng đã phát triển các công cụ để trao cho các nhà xuất bản nhiều quyền kiểm soát hơn đối với nội dung của họ trong kỷ nguyên AI. Trong những năm gần đây, Cloudflare đã ra mắt công cụ chống bot AI và một thị trường cho phép các trang web tính phí bot AI khi thu thập dữ liệu, được gọi là "Pay Per Crawl".
Giờ đây, "Pay Per Crawl" đang phát triển thành "Pay Per Use" (Trả Tiền Theo Lượt Sử Dụng), cho phép các nhà xuất bản tính phí các công ty AI khi nội dung của họ tạo ra giá trị, chứ không chỉ khi nội dung được thu thập. 💰
Thay đổi này cũng giúp tiết kiệm băng thông và tài nguyên tính toán cho các nhà xuất bản, vì dữ liệu của Cloudflare cho thấy hơn 50% lưu lượng truy cập từ các trình thu thập thông tin AI là để thu thập lại các trang không thay đổi. Việc thanh toán theo giá trị tạo ra sẽ khuyến khích các bot AI hoạt động hiệu quả và thông minh hơn.
Các Đối Tác Tiên Phong
Để thực hiện chính sách này, Cloudflare ban đầu hợp tác với hai đối tác là Ceramic.ai và You.com. Khi một nhà xuất bản tham gia, họ sẽ được trả tiền khi nội dung của họ xuất hiện trong kết quả tìm kiếm AI của Ceramic hoặc khi You.com truy cập một phần nội dung cao cấp của họ. Các công ty AI khác có thể tùy chỉnh mô hình này phù hợp với cách họ hoạt động, mở ra một kỷ nguyên mới cho việc hợp tác và chia sẻ doanh thu.
Lời Kết
Quy định mới của Cloudflare không chỉ là một thay đổi kỹ thuật mà còn là một bước đi quan trọng nhằm định hình lại mối quan hệ giữa các công ty AI và nhà xuất bản, hướng tới một tương lai số công bằng và bền vững hơn. Đây có thể là khởi đầu cho một cuộc cách mạng trong việc định giá và bảo vệ nội dung trên Internet, nơi giá trị thực sự của thông tin được công nhận và đền đáp xứng đáng. 🌐