Pour The Atlantic, le bloqueur de robots de Cloudflare est « the most interesting thing in tech »

Dans un post LinkedIn, Nicholas Thompson, CEO du magazine américain The Atlantic, partage son enthousiasme pour le bloqueur de crawlers IA dévoilé il y a peu par Cloudflare et qui crée une petite révolution pour les éditeurs.

Gitesh Gohel, Head of Product et Nicholas Thompson, CEO

« It’s the most interesting thing in tech », voilà comment Nicholas Thompson, CEO du magazine américain The Atlantic, qualifie le bloqueur de crawlers IA de Cloudflare dévoilé au début de l’été. Les propriétaires de sites web ont désormais la possibilité de bloquer ou d’autoriser les bots des entreprises tech à scraper leur contenu. Ils ont également la possibilité de demander un « paiement par crawl » et de déterminer à quoi les robots peuvent avoir accès (à des fins d’entraînement d’une IA, d’inférence ou de recherche).

Dans une vidéo LinkedIn, le CEO partage son enthousiasme tout en testant l’outil aux côtés de son Head of Product. Le magazine a créé un document interne dans lequel il répertorie tous les bots et combien de fois ils ont scrappé le contenu du site. En fonction de la valeur qu’ils apportent, s’ils génèrent des abonnements par exemple, The Atlantic décide s’il les bloque ou non. The Atlantic n’a pas bloqué le bot d’OpenAI par exemple, puisque le média a signé un partenariat avec la Big Tech. En revanche, le CEO décide dans la vidéo de bloquer PetalBot, le robot de Huawei, ainsi que ByteSpider, le robot de ByteDance, maison mère de TikTok.

Un outil plus efficace que robots.txt

Pour Nicholas Thompson, le fichier robots.txt, que les éditeurs apposent sur leur site afin de déterminer les règles de scraping est comme un panneau « défense d’entrer » devant sa pelouse : il dissuade principalement. C’est pourquoi il considère que l’outil de Cloudflare est plus puissant et que c’est un « pretty big moment » pour les éditeurs. Certains malicieux se demanderont si le CEO n’a pas été rémunéré pour réaliser cette vidéo. D’autres estimeront qu’en tant que client satisfait, il devient un parfait ambassadeur.

Objectivement, on peut reconnaître que les solutions comme celle développée par Cloudflare vont permettre de créer une nouvelle source de revenus pour les éditeurs tout en leur redonnant du pouvoir. A moins que les entreprises tech trouvent un moyen de contourner ces bloqueurs…