Les tensions montent entre Cloudflare et Google autour de l'utilisation des contenus des sites web par l'intelligence artificielle. À partir du 15 septembre, Cloudflare bloquera par défaut certains robots multi-usages sur les nouveaux sites et les comptes gratuits financés par la publicité. Cette décision vise directement le fonctionnement actuel de Google, qui utilise un même robot pour indexer le Web et alimenter ses réponses IA. Une évolution qui pourrait redonner aux éditeurs le contrôle sur leurs contenus.
Cloudflare estime que Google ne laisse aujourd'hui aucun véritable choix aux éditeurs. Le même Googlebot sert à la fois à indexer les pages dans Google Search et à récupérer des contenus destinés aux fonctionnalités d'intelligence artificielle comme AI Overviews.
Concrètement, un site qui souhaite continuer à apparaître dans les résultats de recherche est contraint d'accepter que ses contenus puissent également être utilisés par l'IA de Google. Pour Cloudflare, cette situation n'est plus acceptable, car elle prive les éditeurs d'un contrôle essentiel sur leur travail.
À compter du 15 septembre, les nouveaux sites utilisant Cloudflare ainsi que les comptes gratuits verront les robots multi-usages bloqués par défaut sur les pages financées par la publicité, sauf si le propriétaire décide explicitement de les autoriser.
Cette offensive de Cloudflare intervient dans un contexte déjà tendu entre Google et les éditeurs. Elle coïncide également avec le blocage récent par Google de nombreuses extensions liées à la publicité, une décision qui a suscité de nombreuses réactions au sein de la communauté. Si ces deux sujets sont distincts, leur succession alimente les interrogations de certains acteurs du Web sur l'évolution des rapports entre Google, les créateurs de contenus et les outils qui échappent à son écosystème.
Cette initiative intervient alors que de nombreux médias alertent sur l'impact des réponses générées par l'IA dans Google Search.
Plusieurs études citées par eMarketer montrent une baisse importante du trafic provenant du moteur de recherche depuis le déploiement des AI Overviews.
Pour les médias, le problème est simple. Les internautes obtiennent directement une réponse dans Google sans nécessairement visiter le site qui a produit l'information.
L'objectif affiché par Cloudflare est d'inciter Google à revoir son architecture. L'entreprise souhaite que Google distingue clairement un robot chargé uniquement de l'indexation pour Google Search d'un autre dédié aux produits d'intelligence artificielle. Les éditeurs pourraient alors accepter d'être référencés dans les résultats de recherche tout en refusant que leurs contenus alimentent AI Overviews.
Si Google ne choisissait pas cette voie, Cloudflare estime qu'une autre solution serait de mettre en place des accords de licence permettant de rémunérer les éditeurs lorsque leurs contenus servent à entraîner ou enrichir les réponses de l'IA.
Aujourd'hui, bloquer Googlebot signifie généralement disparaître des résultats de recherche. Si Google créait un robot distinct pour ses services d'intelligence artificielle, les éditeurs pourraient continuer à bénéficier du référencement naturel tout en protégeant leurs contenus des AI Overviews.
Cette possibilité est réclamée depuis plusieurs mois par une grande partie des acteurs de la presse et du web, qui considèrent que leurs articles alimentent les réponses générées par l'IA sans compensation suffisante et avec un impact direct sur leur audience.
L'initiative de Cloudflare dépasse largement le simple aspect technique. Elle relance le débat sur la manière dont les plateformes d'intelligence artificielle utilisent les contenus publiés sur le Web et sur le partage de la valeur créée.
Si Google accepte de séparer son robot de recherche de son robot dédié à l'IA, les éditeurs retrouveraient enfin le contrôle qu'ils réclament depuis l'arrivée des AI Overviews. Dans le cas contraire, la pression en faveur d'accords de licence ou d'une évolution des règles du référencement devrait continuer de s'intensifier.