A Cloudflare planeja bloquear automaticamente rastreadores da web de uso misto que indexam sites para mecanismos de pesquisa e, ao mesmo tempo, atuam como agentes e treinadores de IA. A empresa anteriormente oferecia aos clientes a opção de evitar que esses rastreadores vasculhassem seus sites em busca de chatbots de IA, mas agora está adotando uma posição padrão mais defensiva.
O CEO Matthew Prince declarou: “Agora que a maior parte do tráfego na Internet não é humano, devemos ir mais longe e agir mais rapidamente para que possa surgir um ecossistema sustentável”. Ele enfatizou que as novas ferramentas e parcerias proporcionam aos proprietários de sites maior visibilidade e oportunidades comerciais, ao mesmo tempo que beneficiam as empresas de IA com intenções transparentes.
A partir de 15 de setembro de 2026, novos clientes e novos sites de assinantes existentes terão configurações padrão para permitir a pesquisa, mas bloquear o treinamento e o uso de agentes em páginas que contenham anúncios. Os rastreadores de uso misto que não permitem que os proprietários de sites controlem o uso de conteúdo de IA também serão bloqueados nas páginas de anúncios por padrão. Os usuários de contas gratuitas mudarão automaticamente para esses novos padrões, a menos que desistam antes do prazo.
A Cloudflare está atualizando seu recurso Pay Per Crawl, agora denominado Pay Per Use, onde os proprietários de sites receberão compensação quando seu conteúdo for referenciado por chatbots de IA. O anúncio inclui parcerias com Ceramic.AI e You.com, com expectativas de atrair mais empresas de IA para adotarem essas mudanças.
A nova política é vista como um movimento estratégico para desafiar o Google, que tem acesso a significativamente mais informações do que as principais empresas de IA. O principal rastreador da web do Google, o Googlebot, indexa sites de maneira eficaz e coleta dados para seus modelos de IA, complicando as opções dos editores em relação ao uso de conteúdo. As políticas da Cloudflare visam levar o Google e outras empresas com rastreadores de uso misto a reconsiderarem suas estratégias.
