Distrify

Bloquer les robots IA : ce que vous perdez vraiment

12 septembre 2026·16 min de lecture
Un homme d'une trentaine d'années en t-shirt couleur rouille travaille à un petit bureau en bois près d'une fenêtre, dans un bureau à domicile rempli de plantes, ordinateur portable ouvert et tourné de biais, dans la lumière douce du matin

Bloquer les robots IA n'est pas une seule décision, c'en est trois, et les trois ne coûtent pas la même chose. Refuser le robot qui collecte des données d'entraînement ne change rien de mesurable sur votre trafic, alors que refuser le robot qui construit l'index de recherche d'un assistant vous sort de ses réponses, c'est-à-dire de la seule partie qui vous envoyait des visiteurs.

La confusion vient de l'étiquette. La plupart des listes de blocage qui circulent traitent tout agent portant "AI" dans son nom comme une seule catégorie. Les entreprises qui exploitent ces robots, elles, font le contraire : elles publient des jetons distincts pour des métiers distincts, et elles écrivent noir sur blanc ce qui se passe quand vous coupez chacun d'eux. Ce qui suit fait le tri en citant ces documents, puis montre quoi vérifier chez vous.

En bref

  • OpenAI précise que les réglages sont indépendants : un site peut "allow OAI-SearchBot in order to appear in search results while disallowing GPTBot to indicate that crawled content should not be used for training".
  • Couper le robot de recherche a un prix documenté. Les sites qui s'en excluent "will not be shown in ChatGPT search answers, though can still appear as navigational links".
  • Google est l'exception. Google-Extended ne gouverne pas les aperçus IA. Google écrit que "robots.txt directives for Googlebot is the control for site owners to manage access to how their sites are crawled for Search", fonctionnalités IA comprises.
  • Les récupérations déclenchées par un utilisateur échappent à la règle. OpenAI écrit que pour ChatGPT-User "robots.txt rules may not apply", et Perplexity que Perplexity-User "generally ignores robots.txt rules".
  • Le blocage est plus rare que le débat ne le laisse croire. Au 6 juin 2025, sur 3 816 domaines du top 10 000 où Cloudflare a trouvé un fichier robots.txt, 546, soit environ 14 pour cent, portaient la moindre règle visant les robots IA.

Sommaire

Bloquer les robots IA : la réponse courte

Si vous vendez quelque chose et que vous voulez que des acheteurs vous trouvent, bloquer le volet recherche de ces robots joue contre vous, et ce sont les opérateurs eux-mêmes qui l'écrivent plutôt que de vous laisser deviner. Bloquer le volet entraînement est un choix défendable qui ne vous coûte aucune visibilité, parce qu'un robot d'entraînement ne décide pas de ce qu'un assistant affiche aujourd'hui.

La version pratique tient en trois gestes. Laissez les robots de recherche autorisés, tranchez sur les robots d'entraînement selon ce que vaut votre contenu à vos yeux, et arrêtez d'attendre d'un fichier robots qu'il contrôle la troisième catégorie, les récupérations qu'un visiteur déclenche en posant sa question.

Rien de tout cela ne remplace le travail décrit dans notre guide de l'optimisation pour les moteurs génératifs. L'accès est la condition, pas la méthode. Un robot qui peut lire une page sans intérêt ne la citera pas davantage.

Une étiquette, trois métiers différents

Chaque opérateur du secteur fait tourner plusieurs robots et leur donne des noms différents exprès. Classez-les par métier plutôt que par entreprise et l'image devient lisible.

Métier Ce que fait le robot Ce que coûte son blocage
Entraînement Collecte des pages susceptibles de nourrir un futur modèle Rien de mesurable sur votre trafic actuel
Recherche Construit l'index que l'assistant interroge pour répondre Vos pages cessent d'être éligibles comme sources
Récupération à la demande Ouvre une page parce qu'un visiteur pose une question maintenant Peu, et la règle peut ne pas être appliquée

La ligne du milieu est celle qui compte pour un site qui vit d'être trouvé. C'est aussi celle que l'on bloque par accident, parce qu'une liste copiée range le robot d'entraînement et le robot de recherche dans le même paragraphe.

Ce que chaque opérateur écrit noir sur blanc

Rien ici n'est une déduction. Chaque ligne provient de la documentation publique de l'opérateur, consultée le 12 septembre 2026.

Opérateur Jeton Métier Effet documenté du blocage
OpenAI GPTBot Entraînement Indique que le contenu "should not be used in training generative AI foundation models"
OpenAI OAI-SearchBot Recherche dans ChatGPT Les sites exclus "will not be shown in ChatGPT search answers, though can still appear as navigational links"
OpenAI ChatGPT-User À la demande "Because these actions are initiated by a user, robots.txt rules may not apply"
Anthropic ClaudeBot Entraînement Signale "that the site's future materials should be excluded from our AI model training datasets"
Anthropic Claude-SearchBot Qualité de recherche "Prevents our system from indexing your content for search optimization, which may reduce your site's visibility and accuracy in user search results"
Anthropic Claude-User À la demande "May reduce your site's visibility for user-directed web search"
Perplexity PerplexityBot Recherche et liens Conçu "to surface and link websites in search results on Perplexity", et "not used to crawl content for AI foundation models"
Perplexity Perplexity-User À la demande "Since a user requested the fetch, this fetcher generally ignores robots.txt rules"
Google Googlebot Recherche, fonctionnalités IA comprises Le contrôle "to manage access to how their sites are crawled for Search"
Google Google-Extended Entraînement et ancrage ailleurs Limite "AI training and grounding in some of Google's other systems"

OpenAI est le plus explicite sur l'indépendance des deux réglages : "a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot to indicate that crawled content should not be used for training OpenAI's generative AI foundation models". Cette phrase suffit à dissoudre le dilemme que la plupart des propriétaires de sites croient affronter.

La page d'Anthropic, mise à jour le 7 avril 2026, décrit trois robots et indique que ses agents "respect 'do not crawl' signals by honoring industry standard directives in robots.txt", en précisant que bloquer des adresses IP n'en est pas un substitut fiable. Elle documente aussi la prise en charge de la directive non standard Crawl-delay, pour les sites qui veulent ralentir la collecte plutôt que l'interdire.

Google est l'exception qui piège tout le monde

Google ne suit pas le schéma des autres, et c'est précisément là que la plupart des conseils publiés se trompent. Google-Extended n'est pas l'interrupteur des aperçus IA ni du mode IA.

La documentation de Google le dit sans détour : "AI is built into Search and integral to how Search functions, which is why robots.txt directives for Googlebot is the control for site owners to manage access to how their sites are crawled for Search". Google-Extended est présenté dans la phrase suivante comme le moyen de limiter "AI training and grounding in some of Google's other systems", ce qui est autre chose.

La conséquence est inconfortable pour qui espérait rester dans la recherche tout en sortant des aperçus IA : aucun jeton ne le permet. Les contrôles que Google cite pour limiter ce qui est affiché sont nosnippet, data-nosnippet, max-snippet et noindex, et leur usage a un coût inscrit dans la même page. Pour être éligible comme source dans les aperçus IA ou le mode IA, "a page must be indexed and eligible to be shown in Google Search with a snippet". Vous retirez l'éligibilité à l'extrait, vous vous retirez de ces réponses, et des extraits optimisés ordinaires par la même occasion.

L'affirmation inverse mérite aussi d'être écartée : il n'existe aucun fichier à ajouter pour y entrer. Google écrit qu'il n'est pas nécessaire de "create new machine readable files, AI text files, or markup to appear in these features", ni d'ajouter un balisage schema.org dédié. Nous en avions tiré les conséquences pratiques dans apparaître dans les aperçus IA de Google.

Vous voulez que votre contenu soit publié et distribué sur tous les canaux sans tenir le calendrier vous-même ? Rejoindre la liste d'attente

La règle unique qui vous sort des réponses IA

Le scénario de panne est banal. Quelqu'un copie une liste de blocage vue dans un fil de discussion, colle vingt agents dans le fichier robots, et met en ligne. Six mois plus tard le site est absent des réponses des assistants et personne ne fait le lien, parce que rien n'a cassé visiblement et que le trafic de la recherche classique a continué.

Trois détails rendent cette panne silencieuse plutôt que bruyante.

Le premier est le délai. Le changement n'est ni instantané ni lent : OpenAI indique qu'il faut compter environ 24 heures après une modification du fichier robots pour que ses systèmes s'ajustent, et Perplexity donne le même ordre de grandeur. La disparition arrive le lendemain, ce qui suffit à casser le lien dans votre mémoire.

Le deuxième est qu'aucun rapport ne vous prévient. Un assistant ne vous envoie pas de message quand il cesse de considérer vos pages, et le trafic qu'il vous envoyait était probablement assez faible pour ressembler à du bruit. C'est le problème de mesure général décrit dans suivre sa visibilité dans les IA et, pour les questions comparatives, dans mesurer la part de voix de sa marque.

Le troisième est que la règle copiée avait en général été écrite par un éditeur dont le métier est le contenu lui-même. Son calcul n'est pas le vôtre.

Ce que le blocage protège, et ce qu'il ne protège pas

Soyez précis sur la nature réelle de la protection, parce que l'écart entre la croyance et l'effet est exactement l'endroit où se prennent les mauvaises décisions.

Bloquer un robot d'entraînement signale que vos pages futures ne doivent pas entrer dans un jeu d'entraînement. C'est un vrai signal, et les opérateurs le décrivent ainsi. Ce que cela ne fait pas : récupérer ce qui a déjà été collecté, arrêter les entreprises dont vous n'avez pas listé le robot, ou empêcher un humain de recopier votre texte à la main.

Bloquer un robot de recherche fait tout autre chose : cela retire vos pages du vivier dans lequel l'assistant puise pour répondre. En échange, cela ne protège rien côté entraînement, puisqu'il s'agit de systèmes séparés portant des jetons séparés.

Bloquer une récupération à la demande ne protège à peu près rien, puisque les opérateurs précisent que la règle peut ne pas s'appliquer quand la requête vient d'une personne. Il y a même un argument pour les laisser autorisées : une page ouverte parce qu'un utilisateur vous a cherché est une page montrée à quelqu'un qui s'intéresse déjà à vous.

Enfin, un fichier robots est une demande, pas un mur. Il fonctionne parce que les opérateurs cités ici choisissent de l'honorer. Un robot qui ne s'identifie pas honnêtement n'est concerné par rien de ce que vous y écrivez, et c'est pourquoi les sites sous vraie pression de collecte passent par des contrôles côté serveur.

Qui a une vraie raison de bloquer

L'argument du blocage n'est pas imaginaire, et prétendre le contraire serait malhonnête. Il vaut quand votre contenu est le produit, et non le chemin vers le produit.

Une archive qui vend son accès, un éditeur dont le revenu dépend de lecteurs qui atteignent la page, un cabinet dont les rapports sont sous licence : pour eux, nourrir un modèle qui résumera le travail gratuitement est un transfert de valeur direct. Bloquer les robots d'entraînement est une défense raisonnable, et elle ne leur coûte aucune visibilité tant que les robots de recherche restent autorisés.

Il existe une deuxième raison légitime, sans rapport avec les principes : la charge serveur. Si un robot consomme des ressources réelles, la réponse proportionnée est la limitation de débit. Anthropic documente la prise en charge de Crawl-delay pour ce cas précis.

La plupart des petites entreprises ne sont dans aucune de ces situations. Si votre contenu existe pour amener des clients, il est la publicité et non l'actif, et être lu par les machines qui recommandent est tout l'intérêt de l'opération. Le mécanisme est celui que nous avons détaillé dans être cité par ChatGPT.

Combien de sites bloquent réellement

Le débat public est plus bruyant que la pratique, et les chiffres méritent d'être en tête avant de supposer que tout le monde s'y met.

Cloudflare a publié le 1er juillet 2025 une analyse fondée sur un relevé du 6 juin 2025 portant sur les 10 000 premiers domaines. Un fichier robots a été trouvé sur 3 816 d'entre eux. Dans ce groupe, 546 domaines, environ 14 pour cent, portaient une directive d'autorisation ou d'interdiction visant les robots IA. Le jeton le plus bloqué était GPTBot, interdit par 312 domaines, 250 totalement et 62 partiellement, suivi de CCBot et de Google-Extended. Cloudflare rappelle aussi la valeur par défaut que beaucoup oublient : "bots not listed in a site's robots.txt are effectively allowed by default".

Deux conclusions en découlent. Le blocage reste un comportement minoritaire, y compris chez les grands sites, et l'inaction est elle-même un choix, puisque le silence vaut autorisation. Si vous n'avez jamais ouvert votre fichier robots, vous autorisez déjà tout, ce qui est le bon réglage pour la plupart des entreprises, mais qui mérite d'être une décision et non un accident.

Cinq minutes pour vérifier ce que votre site autorise

Cette vérification ne demande ni outil ni développeur.

  1. Ouvrez votredomaine.fr/robots.txt dans un navigateur. Si vous obtenez une erreur 404, rien n'est bloqué et il n'y a rien à corriger aujourd'hui.
  2. Cherchez Disallow: / sous un agent quelconque. C'est la seule ligne qui bloque un site entier.
  3. Regardez si les jetons de recherche apparaissent : OAI-SearchBot, PerplexityBot, Claude-SearchBot, Googlebot. Si l'un d'eux porte Disallow: /, vous vous êtes exclu des réponses de cet assistant.
  4. Regardez séparément les jetons d'entraînement : GPTBot, ClaudeBot, Google-Extended, CCBot. Les bloquer relève d'un choix de politique de contenu, pas d'un choix de visibilité.
  5. Vérifiez la couche au-dessus du fichier. Google range parmi ses bonnes pratiques le fait de s'assurer que la collecte est autorisée dans le fichier robots "and by any CDN or hosting infrastructure". Une règle de pare-feu peut bloquer un robot que votre fichier accueille, et elle n'apparaîtra pas dans ce fichier.
  6. Si vous avez modifié quelque chose, attendez une journée avant de conclure, puis suivez la page comme après n'importe quelle mise en ligne, ce que détaille que faire après avoir publié un article.

Si vous exploitez plusieurs versions par pays, faites la vérification sur chaque domaine ou sous-domaine séparément. Les règles ne s'héritent pas d'un hôte à l'autre, et c'est le même problème de frontière que celui décrit dans le contenu multilingue pour les IA.

Ce que ce fichier ne peut pas faire pour vous

Régler l'accès vous fait passer d'impossible à éligible. Cela ne vous fait pas passer à cité.

Une page autorisée doit encore mériter d'être reprise : précise, à jour, attribuable, et lisible par une machine qui ne fera pas défiler un carrousel pour trouver votre tableau de caractéristiques. C'est une question de contenu, et c'est celle que nous avons décomposée dans la fiche produit lisible par les IA.

Cela ne change pas non plus le rythme. Google rappelle aux propriétaires de sites que la collecte "can take anywhere from several days to several months". Sur un domaine jeune, les premières semaines se lisent en impressions et non en clics, ce que nous avons décrit dans les signes que le SEO fonctionne. Un fichier robots corrigé aujourd'hui ne produit pas une citation demain.

Et cela ne dit rien de la question de savoir si vos acheteurs sont vraiment chez les assistants. Elle est distincte, et nous avons regardé ce que disent les données dans ChatGPT ou Google pour chercher.

FAQ

Bloquer GPTBot me sort-il des réponses de ChatGPT ? Non. GPTBot est le robot d'entraînement. Le robot de recherche s'appelle OAI-SearchBot, et OpenAI précise que les deux réglages sont indépendants. Bloquer GPTBot en autorisant OAI-SearchBot est une combinaison documentée et prise en charge.

Si je bloque Google-Extended, est-ce que je disparais des aperçus IA ? Non. Google indique que les directives visant Googlebot sont le contrôle de la collecte pour la recherche, et que les fonctionnalités IA font partie de la recherche. Google-Extended limite l'entraînement et l'ancrage dans d'autres systèmes de Google.

Puis-je rester dans la recherche Google et sortir des aperçus IA ? Aucun jeton ne le permet. Les contrôles cités par Google, comme nosnippet ou max-snippet, retirent aussi l'éligibilité à l'extrait, or une page doit y être éligible pour apparaître comme source dans les aperçus IA ou le mode IA.

Combien de temps un changement met-il à s'appliquer ? OpenAI évoque environ 24 heures pour ce qui touche à la recherche, Perplexity parle de 24 heures au plus. Le calendrier de collecte de Google est séparé et va de plusieurs jours à plusieurs mois selon la page.

Ces robots respectent-ils vraiment le fichier ? Les opérateurs cités ici l'affirment pour la collecte automatique, et Anthropic indique que ses agents honorent les directives standard du fichier robots. L'exception annoncée concerne les récupérations déclenchées par un utilisateur, où OpenAI comme Perplexity écrivent que les règles peuvent ne pas s'appliquer.

Et si mon fichier n'existe pas ? Alors rien n'est bloqué. Cloudflare le formule sans ambiguïté : les robots non listés sont autorisés par défaut.

Ce qu'il vous reste à décider

Bloquer les robots IA mérite cinq minutes d'attention et une décision assumée, pas une liste copiée. Séparez les trois métiers, gardez les robots de recherche autorisés si vous voulez être trouvé, traitez les robots d'entraînement comme une question de politique de contenu, et cessez d'attendre de ce fichier qu'il contrôle ce qu'un humain demande à un assistant d'aller chercher.

Revenez ensuite à ce qui décide vraiment de votre présence dans les réponses : publier assez souvent, sur les sujets que vos acheteurs cherchent, à tous les endroits où ils regardent. La vue d'ensemble est dans la stratégie de distribution de contenu multicanal, et le pendant sur le contenu écrit par IA, qui pose les mêmes questions d'accès, dans ce que Google dit vraiment du contenu écrit par IA.

Rejoindre la liste d'attente

Sources