IA : un nouveau signal robots.txt pour le refus de scrapping

Un signal unique pour tous les grands acteurs de l’IA

Les quatre géants de l’intelligence artificielle – OpenAI, Google, Microsoft et Anthropic – ont annoncé qu’ils allaient adopter une directive commune à insérer dans le fichier robots.txt des sites web. Selon Engadget, cette directive, nommée __usage_ai‑training, permettra aux éditeurs de spécifier une interdiction de scrapping destinée à l’entraînement des modèles génératifs, sans affecter la visibilité du site dans les résultats de recherche.

Comment fonctionne le nouveau token

Le principe, détaillé par The Verge, repose sur un « policy token » que les éditeurs placent dans le fichier robots.txt :

User-Agent: __usage_ai‑training
Disallow: /
Allow: /press‑kit/

Cette configuration indique aux crawlers désignés qu’ils doivent éviter de récupérer le contenu du site, à l’exception des sections explicitement autorisées (par exemple un kit de presse). Engadget précise que Google interprétera ce token comme un arrêt pour son agent Google‑Extended, dédié à la collecte de données pour les modèles Gemini. Microsoft, de son côté, prévoit d’offrir des contrôles granulaire permettant de différencier le refus d’entraînement et le refus de « grounding », c’est‑à‑dire l’accès à des sources vérifiées pour réduire les hallucinations.

Pourquoi un signal partagé est nécessaire

Actuellement, chaque entreprise d’IA exige que les éditeurs créent des règles distinctes pour chaque crawler, ce qui complique la gestion des préférences. The Verge souligne que le nouveau token, proposé par Kevin Kelley d’Anthropic au sein de l’IETF, vise à simplifier ce processus en offrant un signal unique reconnu par plusieurs fournisseurs. Ainsi, un éditeur n’a plus besoin de maintenir plusieurs listes de refus ; le même fichier robots.txt suffit pour informer OpenAI, Google, Microsoft et Anthropic.

Limites et portée immédiate

Le dispositif ne rétroactive pas les collectes déjà effectuées. Engadget rappelle que les contenus déjà scrappés restent dans les bases de données des entreprises, le token ne s’appliquant qu’aux futures opérations de crawling. De plus, la visibilité du site dans les moteurs de recherche n’est pas affectée : les pages continueront d’apparaître dans les résultats Google ou Bing, même si le propriétaire a indiqué un refus d’entraînement.

Adoption progressive et engagements publics

OpenAI a indiqué qu’il implémentera le signal « dans les prochains mois », selon Engadget. Google et Microsoft, quant à eux, prévoient de le supporter respectivement au début de 2027 et à partir du 1 février 2027. Anthropic a déjà commencé à respecter le token. The Verge mentionne également le soutien verbal de Meta, dont le responsable des communications, Andy Stone, a déclaré que la création d’un signal commun était une « étape importante », sans préciser si la société l’appliquera concrètement.

Implications pour les éditeurs et les modèles d’IA

Pour les éditeurs, le nouveau token représente une avancée majeure en matière de contrôle sur l’usage de leurs contenus. La capacité à refuser le scrapping à l’échelle de plusieurs acteurs réduit le risque de voir leurs articles intégrés dans des modèles sans compensation ou consentement. Du côté des entreprises d’IA, l’adoption du signal facilite la conformité réglementaire et atténue les tensions avec les créateurs de contenu, tout en maintenant l’accès aux sites pour l’indexation traditionnelle.

Questions en suspens

Plusieurs incertitudes demeurent. Premièrement, la mise en œuvre technique chez chaque entreprise devra être validée : les délais annoncés laissent entre‑temps une période où les crawlers pourraient encore accéder aux sites. Deuxièmement, la portée du token en dehors des quatre signataires reste à déterminer ; d’autres acteurs du secteur pourraient choisir de ne pas l’honorer, ce qui créerait un paysage fragmenté. Enfin, la question du traitement des données déjà collectées n’est pas résolue : aucune des annonces ne propose de mécanisme de retrait ou de compensation pour le contenu déjà utilisé dans les modèles existants.

Vers une gouvernance plus collaborative

L’initiative, bien qu’encadrée par l’IETF, montre comment les acteurs privés peuvent converger autour d’un standard ouvert pour répondre aux préoccupations des éditeurs. Si le signal est largement adopté, il pourrait devenir une référence pour d’autres formes de collecte automatisée, au-delà de l’entraînement des IA, renforçant ainsi la gouvernance du web à l’échelle internationale.