Common Crawl reçoit une mise en demeure formelle. Digital Content Next (DCN), l’organisation professionnelle qui regroupe de grands éditeurs numériques américains, exige que la fondation cesse de collecter leurs contenus et supprime ce qu’elle a déjà archivé. L’affaire dépasse le simple litige entre une association et une ONG : elle pose une question que tout propriétaire de site devrait se poser en 2026.
Ce qu’est Common Crawl, et pourquoi ça compte
Common Crawl crawle plusieurs milliards de pages chaque mois depuis 2007. Son archive est publique, gratuite, téléchargeable par n’importe qui. C’est une infrastructure fondamentale pour la recherche en NLP et pour l’entraînement des grands modèles de langage.
Le papier de recherche sur GPT-3 (OpenAI) l’a confirmé : les données Common Crawl filtrées représentaient 60% du mix d’entraînement du modèle. Ce chiffre est cité par Search Engine Journal, qui a couvert l’affaire en détail cette semaine.
En clair : une bonne partie de ce que les LLM actuels “savent” vient de cette archive. Et cette archive contient du contenu produit par des éditeurs qui n’ont jamais consenti à y figurer.
La mise en demeure de DCN : ce qu’elle demande exactement
Jason Kint, PDG de DCN, a annoncé la mise en demeure dans un billet de blog. La lettre réclame que Common Crawl :
- cesse de “scraper, conserver ou partager” des contenus protégés par le droit d’auteur, des contenus sous paywall ou réservés aux abonnés,
- supprime de ses datasets le contenu des membres DCN déjà collecté.
La formulation clé est celle-ci, citée par DCN : « le droit d’auteur n’est pas un régime d’opt-out ». Traduction : les éditeurs ne devraient pas avoir à demander à être exclus. C’est à Common Crawl de demander la permission d’inclure leurs contenus.
C’est une inversion complète du paradigme actuel, où la norme implicite du web est que tout contenu accessible publiquement peut être crawlé, sauf instruction contraire dans un fichier robots.txt ou via un blocage de bot spécifique.
Le problème que les robots.txt ne résolvent pas
Voilà où ça devient concret pour n’importe quel éditeur ou propriétaire de site.
Bloquer CCBot (le crawler de Common Crawl) dans ton robots.txt empêche les nouvelles collectes. Mais ça ne supprime pas une seule ligne de ce qui a déjà été archivé. Les snapshots historiques restent téléchargeables librement. N’importe quelle entreprise d’IA peut les récupérer aujourd’hui, même si ton site bloque CCBot depuis deux ans.
DCN a pointé ce problème dans sa lettre. Et ce n’est pas la première fois que la question est soulevée : The Atlantic avait reporté en novembre 2025 que des contenus du New York Times et d’éditeurs danois étaient toujours disponibles dans l’archive après que Common Crawl avait accepté de les retirer.
Common Crawl publie pourtant un registre public des sites ayant demandé à ne pas être scrapés. Ce registre inclut l’Associated Press, la BBC, et une soumission collective de la News/Media Alliance couvrant des centaines de domaines. Ça montre l’ampleur du mouvement de blocage, mais aussi ses limites.
La réponse de Common Crawl
Rich Skrenta, directeur exécutif de la fondation, n’a pas commenté la mise en demeure directement. Mais il a répondu à des accusations similaires en novembre dans un billet de blog.
Sa position tient en deux points :
- Common Crawl ne scrape pas les contenus sous paywall et n’a jamais menti aux éditeurs sur ce sujet.
- Le format technique de l’archive ne permet pas d’éditer des fichiers déjà publiés sans casser l’intégrité de l’ensemble. La fondation répond aux demandes de suppression en retirant les URLs concernées des crawls suivants et en les rendant inaccessibles via ses outils publics.
Skrenta a écrit : « Personne chez Common Crawl n’a jamais affirmé que ce travail était instantané ou complet ; nous avons au contraire été transparents sur sa complexité et son caractère continu. »
Cette semaine, il a aussi indiqué dans un fil de forum que Common Crawl participe à des travaux de standardisation pour permettre aux sites d’exprimer leurs préférences en matière de scraping IA. Une position qui maintient le modèle d’opt-out, juste avec de meilleurs outils pour l’exprimer.
Opt-out vs opt-in : le vrai débat de fond
C’est là que les deux camps divergent fondamentalement.
Common Crawl, et dans une certaine mesure la CMA britannique (qui a demandé à Google de permettre aux éditeurs d’opt-out des fonctionnalités IA), s’appuient sur un modèle où le défaut est “inclus, sauf demande contraire”.
DCN veut l’inverse : le défaut est “exclu, sauf autorisation explicite”. C’est la logique du RGPD appliquée au scraping de contenu pour l’IA.
Ce débat n’est pas seulement juridique. Il redéfinit qui supporte la charge : l’éditeur qui doit bloquer activement, ou le scraper qui doit obtenir une permission. À l’échelle du web, c’est un changement de paradigme massif.
Ce que ça signifie si tu produits du contenu
Concrètement, plusieurs enseignements à tirer pour un site de niche, un blog ou un site éditorial :
- Bloquer CCBot dans ton robots.txt reste utile pour les crawls futurs, mais ne protège pas le contenu déjà archivé.
- Selon BuzzStream, 79% des 100 sites d’actualité de leur échantillon bloquent déjà au moins un bot d’entraînement. Le mouvement est large, son efficacité partielle.
- Les archives historiques sont le vrai sujet. Si ton contenu de 2020-2024 est déjà dans Common Crawl, il peut servir à entraîner des modèles aujourd’hui, indépendamment de ce que dit ton robots.txt actuel.
- Si DCN obtient gain de cause, ça crée un précédent pour exiger la suppression d’archives, pas seulement l’arrêt de la collecte future.
Pour aller plus loin sur les questions de trafic IA et ce qu’elles changent pour ton SEO, j’ai analysé les différences entre trafic organique et trafic LLM : les règles ne sont pas les mêmes.
Mon avis
La position de DCN est cohérente sur le plan juridique, mais elle arrive tard. Des années de contenu sont déjà dans les archives et ont déjà servi à entraîner des modèles déployés. Même une victoire légale ne “désentraîne” pas un LLM. La vraie question est ce qui se passe pour les modèles futurs et les prochaines versions d’archive.
Ce qui me semble plus intéressant à surveiller : si d’autres trade groups adoptent le même argumentaire, la pression ne s’exercera plus sur les robots.txt individuels mais sur les archives elles-mêmes et sur les entreprises d’IA qui les utilisent. Ça, c’est un changement de niveau.
Information et avertissement
Cet article est une couverture éditoriale d’une actualité publique. Il ne constitue pas un avis juridique. Les informations sont issues de sources citées (Search Engine Journal, Press Gazette, billet de blog DCN) et reflètent l’état de la situation au 10 juin 2026. Cet article contient des liens d’affiliation. Si tu passes commande via ces liens, je touche une commission sans coût supplémentaire pour toi.
À lire aussi
- llms.txt : 97 % des fichiers ignorés par les bots IA
- SEO + GEO : comprendre les LLM pour mieux les influencer
- Reddit, zéro-clic, GBP dans GA4 : ce qui change en SEO
FAQ
Bloquer CCBot dans mon robots.txt protège-t-il mon contenu des archives Common Crawl ?
Non, pas entièrement. Le blocage de CCBot empêche les nouvelles collectes, mais le contenu déjà archivé reste disponible dans les snapshots historiques de Common Crawl, téléchargeables par n’importe qui.
Qu’est-ce que Common Crawl exactement ?
C’est une fondation à but non lucratif qui maintient une archive publique du web depuis 2007. Elle crawle plusieurs milliards de pages par mois. Ses données ont servi à entraîner de nombreux modèles d’IA, dont GPT-3 à hauteur de 60% du mix d’entraînement.
Quelle est la différence entre opt-out et opt-in dans ce débat ?
Le modèle opt-out actuel signifie que ton contenu est collecté par défaut, sauf si tu le bloques explicitement. Le modèle opt-in que défend DCN signifie que les scrapers devraient obtenir ta permission avant de collecter quoi que ce soit. C’est l’inverse de la norme actuelle du web.
Common Crawl supprime-t-il le contenu quand on le demande ?
Common Crawl dit qu’il initie un processus de suppression, mais que le format technique de l’archive ne permet pas d’éditer les fichiers publiés. Des investigations (notamment par The Atlantic en novembre 2025) ont montré que des contenus restaient accessibles après des demandes de retrait acceptées.
Si DCN gagne, qu’est-ce que ça change pour les éditeurs ?
Un gain juridique de DCN créerait un précédent permettant d’exiger la suppression de contenus dans des archives existantes, pas seulement l’arrêt de la collecte future. Ça pourrait obliger Common Crawl, et potentiellement d’autres agrégateurs, à revoir leur modèle d’accès aux données historiques.
