GPTBot, OAI-SearchBot, Claude-User : lequel de ces robots votre robots.txt bloque-t-il par erreur ?

Beaucoup de fichiers robots.txt ont été modifiés en 2023 et 2024 avec une intention simple : empêcher les IA d’aspirer les contenus. Depuis, les éditeurs d’assistants ont multiplié les robots, chacun avec une mission distincte. Une ligne écrite à l’époque pour refuser l’entraînement peut aujourd’hui vous effacer des réponses de ChatGPT ou de Claude, alors qu’un autre robot continue de lire vos pages à la demande des utilisateurs.

Ce volet de notre dossier sur la visibilité dans les moteurs IA porte sur la porte d’entrée technique : quels robots laisser passer, lesquels refuser et comment vérifier que vos pages sont lisibles une fois la porte ouverte.

Trois métiers derrière le mot « robot IA »

Les documentations officielles d’OpenAI, d’Anthropic et de Perplexity distinguent désormais trois usages. Chacun appelle une décision différente dans votre robots.txt.

Le tableau des robots à connaître en 2026

Le tableau suivant s’appuie sur les pages officielles des éditeurs, consultées le 26 octobre 2026. Les noms de la première colonne sont ceux à utiliser dans la directive User-agent.

Le cas particulier de Google

Chez Google, les AI Overviews et le mode IA s’appuient sur l’index de Google Search, exploré par Googlebot, sans robot dédié. La documentation de Google précise qu’il suffit d’être indexé et éligible à l’extrait dans Search pour pouvoir apparaître dans ces réponses. Elle précise aussi que robots.txt ne permet pas d’exclure vos pages des seules fonctions d’IA : pour limiter ce que Google en reprend, les outils prévus sont nosnippet, data-nosnippet et max-snippet. Le jeton Google-Extended, lui, n’a aucun effet sur votre présence ni sur votre classement dans Google Search.

Trois profils de robots.txt selon votre stratégie

Le bon réglage dépend de votre modèle économique. Un média qui vend ses contenus et une PME qui cherche des clients n’ont pas les mêmes intérêts.

Pour le profil intermédiaire, la base suivante refuse l’entraînement chez les quatre éditeurs concernés et laisse passer tous les autres robots :

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

Une porte ouverte sur une page vide

Autoriser un robot ne suffit pas s’il ne peut pas lire ce qu’il trouve. En décembre 2024, Vercel et MERJ ont analysé le comportement des robots IA sur le réseau de Vercel. Leur conclusion : aucun des grands robots d’IA étudiés n’exécutait JavaScript, qu’il s’agisse des robots d’OpenAI, de ClaudeBot ou de PerplexityBot. Seuls Gemini, qui s’appuie sur l’infrastructure de Googlebot, et Applebot rendaient les pages complètes.

Pour un site dont les prix, les descriptions ou les avis s’affichent par JavaScript côté navigateur, ces robots voient une page sans substance. Le test est simple : affichez le code source de la page dans votre navigateur et cherchez-y le texte principal. S’il n’y figure pas, les robots IA concernés ne le voient pas non plus. Le taux élevé de pages 404 rappelle aussi l’intérêt d’un sitemap à jour et de redirections propres après chaque refonte.

Vérifier qui frappe réellement à la porte

Votre robots.txt exprime une intention. Les journaux de votre serveur montrent ce qui se passe. Une revue trimestrielle permet de contrôler trois points :

• la présence d’OAI-SearchBot, Claude-SearchBot et PerplexityBot si vous souhaitez être cité ;
• l’absence de GPTBot et ClaudeBot après la date de prise en compte de votre refus ;
• les visites de ChatGPT-User, Claude-User et Perplexity-User, signe que des utilisateurs demandent à un assistant de lire vos pages.

Un nom d’agent peut être usurpé : la plupart des hébergeurs et pare-feu proposent une vérification des robots connus. Si votre site passe par Cloudflare, vérifiez aussi les réglages réseau, qui peuvent bloquer un robot avant même qu’il ne lise votre robots.txt.

Ce qu’il faut retenir

Le refus de l’entraînement et la présence dans les réponses IA se règlent désormais séparément. Visez GPTBot, ClaudeBot, Google-Extended et Applebot-Extended pour le premier ; laissez passer OAI-SearchBot, Claude-SearchBot et PerplexityBot pour la seconde. Vérifiez ensuite que vos pages livrent leur contenu sans JavaScript et que vos journaux confirment le comportement attendu. Une relecture du fichier tous les trois mois suffit à suivre l’arrivée des nouveaux robots.