La prolifération des crawlers IA en 2025-2026 force chaque éditeur de site à prendre position : accepter l’exploration par GPTBot, ClaudeBot et PerplexityBot pour maximiser sa citation dans les réponses génératives, ou la bloquer pour protéger son contenu de l’entraînement et de l’usage commercial par les éditeurs d’IA. Le choix n’est pas binaire : plusieurs stratégies intermédiaires existent, et chacune a des conséquences SEO et business à peser. Cet article détaille les configurations robots.txt pour les principaux crawlers IA en 2026, et comment les combiner sans dégrader l’indexation classique par Googlebot et Bingbot. Pourquoi Bingbot gagne en importance en 2026 et comment adapter sa stratégie d'indexation
À retenir en 30 secondes : il faut distinguer les bots de crawl pour entraînement (GPTBot d’OpenAI, ClaudeBot d’Anthropic) des bots de recherche à l’usage (OAI-SearchBot, PerplexityBot, ChatGPT-User, Perplexity-User). Bloquer les premiers n’empêche pas les seconds d’accéder au contenu pour vous citer dans leurs réponses. L’approche stratégique en 2026 est généralement de bloquer les bots d’entraînement et d’autoriser les bots de recherche, pour préserver la visibilité GEO sans contribuer gratuitement au corpus de pré-entraînement. Analyse des crawl errors en Search Console : prioriser les corrections par impact métier
La taxonomie des crawlers IA en 2026
En 2026, les principaux éditeurs d’IA opèrent chacun plusieurs crawlers aux rôles distincts. OpenAI opère GPTBot (crawl pour entraînement des modèles), OAI-SearchBot (crawl pour l’index de recherche de ChatGPT), et ChatGPT-User (fetching ponctuel pour une requête utilisateur). Anthropic opère ClaudeBot (entraînement) et Claude-User (fetching utilisateur). Perplexity opère PerplexityBot (crawl général pour son index) et Perplexity-User (fetching utilisateur). Google opère Google-Extended (entraînement) distinct de Googlebot (recherche classique). Mistral, Meta, Microsoft et plusieurs scale-ups ajoutent leurs propres bots. Chaque bot a un user-agent documenté et une politique propre à son éditeur.
Stratégie 1 : bloquer tous les bots IA
La stratégie « bloquer tout » maximise la protection du contenu mais exclut le site des citations dans les réponses génératives. Elle est pertinente pour les sites dont le contenu est premium, payant, ou dont la valeur commerciale dépend du trafic direct plus que de la notoriété de marque. La configuration tient en quelques lignes dans robots.txt, avec un User-agent par bot et Disallow: /. Attention : certains éditeurs d’IA ont été accusés d’ignorer robots.txt dans certaines configurations ; les mesures juridiques (Terms of Service explicites interdisant le scraping) et techniques (détection d’IP et blocage WAF) complètent utilement la directive robots.txt.
Stratégie 2 : bloquer l’entraînement, autoriser la recherche
C’est l’approche la plus populaire en 2026, et probablement la meilleure pour la majorité des sites éditoriaux. Elle bloque GPTBot, ClaudeBot, Google-Extended et équivalents (crawl entraînement), tout en autorisant OAI-SearchBot, PerplexityBot, Perplexity-User, ChatGPT-User (crawl recherche et fetching utilisateur). Résultat : votre contenu n’alimente pas gratuitement les corpus de pré-entraînement, mais reste citable dans les réponses des moteurs génératifs. Cette stratégie est à combiner avec les techniques décrites dans notre guide pour structurer un contenu pour maximiser les citations IA.
Stratégie 3 : bloquer sélectivement par type de contenu
Pour les sites avec un mix de contenu, une approche granulaire bloque les bots IA sur certaines sections (contenu premium, articles réservés aux abonnés, livres blancs téléchargeables) et les autorise sur d’autres (articles de blog publics, guides promotionnels). Cette configuration utilise plusieurs blocs User-agent avec Disallow sur chemins spécifiques. L’avantage : préserver la citation dans les SERPs IA pour le contenu promotionnel, tout en protégeant le contenu monétisable. L’inconvénient : complexité de maintenance, nécessité d’actualiser robots.txt à chaque nouveau chemin.
Les pièges à éviter
Trois pièges méritent une attention particulière. Premièrement, bloquer tous les bots incluant Googlebot par méprise sur la syntaxe. Un User-agent: * avec Disallow: / désindexe votre site de Google — à ne jamais faire. Les règles IA doivent être spécifiques à chaque bot nommé. Deuxièmement, confondre Google-Extended avec Googlebot. Google-Extended est le bot d’entraînement de Gemini et Vertex AI, distinct de Googlebot qui alimente la recherche classique. Les bloquer indépendamment est possible et stratégique. Troisièmement, oublier la mise à jour régulière de robots.txt : de nouveaux bots IA apparaissent plusieurs fois par an, et une veille mensuelle sur la documentation des éditeurs est nécessaire. Cette discipline rejoint celle décrite dans notre guide des hits Googlebot pour détecter les problèmes d’indexation.
Vérifier que vos règles sont respectées
Déclarer une règle dans robots.txt est une chose, vérifier qu’elle est effectivement respectée en est une autre. L’analyse des logs serveur (notre guide d’analyse de logs SEO détaille la méthodologie) permet de confirmer que les bots bloqués n’accèdent plus au contenu. Pour un panorama complet des stratégies SEO sur les bots, voir également notre guide complet des bots SEO Googlebot et Bingbot.
Pour un panorama à jour des user-agents des principaux crawlers IA, le site de la documentation officielle d’OpenAI sur ses bots et les documentations équivalentes d’Anthropic et Perplexity sont les sources de référence.
Mon point de vue d’expert
En audit, je constate que la quasi-totalité des sites français en 2026 sont dans une position par défaut qui ne reflète pas leur stratégie commerciale réelle : soit ils ont tout bloqué par réflexe sans réfléchir à l’impact GEO, soit ils ont tout autorisé par défaut sans réfléchir à la cession implicite de leur contenu aux éditeurs d’IA. Mon conseil pour les agences SEO et les éditeurs : prenez une décision explicite et documentée sur votre politique IA, mettez-la en œuvre proprement dans robots.txt, et actualisez-la trimestriellement. La stratégie « bloquer l’entraînement, autoriser la recherche » est le compromis par défaut raisonnable pour la plupart des sites éditoriaux, mais chaque cas mérite une analyse propre. Ne subissez pas cette décision par inaction — l’enjeu est trop important pour être traité comme un détail de configuration.
FAQ : robots.txt et crawlers IA
- Bloquer GPTBot empêche-t-il la citation dans ChatGPT ?
- Non, pas totalement. GPTBot est le bot de crawl pour entraînement, pas celui qui alimente les réponses de ChatGPT en mode recherche. Pour empêcher aussi la citation en recherche, il faut également bloquer OAI-SearchBot. En pratique, les sites qui bloquent GPTBot mais autorisent OAI-SearchBot continuent d’être cités.
- Les éditeurs d’IA respectent-ils réellement robots.txt ?
- Officiellement oui, et les grands éditeurs (OpenAI, Anthropic, Google, Perplexity) ont publiquement engagé le respect de ces directives. En pratique, des cas de non-respect ont été rapportés, souvent liés à des bots non documentés ou à des sous-traitants de scraping. Pour une protection renforcée, combiner robots.txt + Terms of Service + WAF est la bonne approche.
- Google-Extended bloqué = contenu invisible dans AI Overviews ?
- Google a affirmé que Google-Extended contrôle uniquement l’utilisation du contenu pour l’entraînement de Gemini et Vertex AI, pas la visibilité dans AI Overviews (qui dépend de Googlebot). En pratique, bloquer Google-Extended n’empêche pas l’apparition dans AI Overviews. Cette séparation technique est volontairement maintenue par Google.
- Comment bloquer un bot IA qui n’est pas documenté ?
- Un bot IA non documenté par son éditeur ne peut pas être ciblé par robots.txt (qui agit sur user-agent déclaré). La seule solution est le blocage WAF par IP (si identifiable) ou par pattern comportemental (fréquence anormale, user-agent générique). C’est un travail de niveau sécurité qui dépasse robots.txt.
