Fournisseur d'infrastructure Internet, Cloudflare gère le trafic pour près de 20 % du Web. Pour les sites rejoignant sa plateforme, l'entreprise bloque désormais par défaut les robots d'exploration IA (ou crawlers IA) qui accèdent à des contenus sans autorisation ni rémunération.
Un modèle économique en danger
Pendant longtemps, la pratique en vigueur était que les moteurs de recherche indexent les contenus et, en échange, renvoient du trafic vers les sites originaux, générant des revenus publicitaires pour les éditeurs.
Cette mécanique est aujourd'hui cassée. Les nouveaux robots IA aspirent massivement les articles, textes et images pour alimenter leurs modèles et générer des réponses directes, sans rediriger les utilisateurs vers la source.
Des données récentes de Cloudflare montrent que pour chaque référence envoyée, le crawler d'OpenAI a exploré les sites 1 700 fois, et celui d'Anthropic 73 000 fois. Un déséquilibre qui prive les créateurs de revenus et de visibilité. À terme, c'est la production de contenu original qui est menacée.
Redonner le pouvoir aux créateurs de contenu
Face à cette situation, l'approche de Cloudflare est le contrôle par défaut. Plutôt que de devoir configurer un blocage, les propriétaires de sites devront explicitement autoriser l'accès aux crawlers de leur choix.
Cette inversion du principe de fonctionnement est un changement fondamental. Les entreprises d'IA peuvent même déclarer la finalité de leur scraping (entraînement, recherche, etc.), offrant une transparence inédite aux éditeurs pour prendre leurs décisions.
L'initiative a reçu le soutien d'acteurs majeurs des médias et de la technologie, comme Condé Nast, Gannett, Reddit, Pinterest ou Ziff Davis. Pour Matthew Prince, cofondateur et patron de Cloudflare, l'idée est de « préserver l'avenir d'un internet libre et dynamique avec un nouveau modèle qui fonctionne pour tout le monde ».
Vers une monétisation du scraping ?
Cloudflare ne s'arrête pas au blocage. L'entreprise lance une expérience en bêta et dénommée « Pay per Crawl ». Il s'agit d'une place de marché où les éditeurs peuvent fixer un prix pour autoriser l'accès à leur contenu. Un propriétaire de site peut définir un tarif pour chaque « crawl » effectué par un robot IA.
Ce système pourrait offrir une nouvelle source de revenus, particulièrement pour les éditeurs n'ayant ni la taille ni les ressources pour négocier des accords de licence ou engager de coûteuses poursuites.
Si l'adoption est au rendez-vous, les entreprises d'IA pourraient être incitées à intégrer la rémunération du contenu dans leur modèle économique, créant un écosystème plus durable.
N.B. : Source images : Cloudflare.