Test robots.txt : ce que chaque robot peut explorer
Indiquez un nom de domaine : l’outil lit son fichier robots.txt, affiche les règles qui s’appliquent à Googlebot, Bingbot et aux robots d’IA (GPTBot, ClaudeBot, PerplexityBot…), et vous dit si une adresse précise est autorisée ou bloquée.
- Gratuit, sans inscription
- 14 robots testés, dont ceux des IA
- Fichier en ligne ou collé
En bref. Ce test robots.txt gratuit récupère le fichier /robots.txt d’un site, l’analyse selon la norme RFC 9309 et les règles de Google (règle la plus longue, Allow prioritaire à égalité, jokers * et $), puis indique pour 14 robots si un chemin est autorisé ou bloqué, avec la ligne responsable. Il signale aussi les erreurs courantes : site entièrement bloqué, directives ignorées par Google, fichier introuvable ou en erreur. Outil conçu par Sylvain Gougeon, consultant SEO à Nantua.
Tester le robots.txt d’un site
Seul le fichier /robots.txt du domaine est lu, rien d’autre. L’analyse des règles se fait ensuite dans votre navigateur.
1. Récupérer le robots.txt d’un site en ligne
2. Ou coller un robots.txt (avant de le mettre en ligne)
Rien n’est envoyé : le texte collé est analysé dans votre navigateur.
Un robot important bloqué, ou un doute sur ce qu’il faut autoriser ? Écrivez-moi via la page contact ou au 06 71 75 41 29 : je vous réponds personnellement.
Comment lire le résultat
Pour chaque robot, l’outil cherche d’abord le groupe User-agent qui porte son nom exact. Faute de groupe dédié, certains robots de Google reprennent celui de Googlebot (c’est le cas de Googlebot-Image) ; tous les autres prennent le groupe User-agent: *. Un robot n’obéit qu’à un seul groupe : s’il a le sien, les règles de * ne s’appliquent pas à lui.
Dans ce groupe, c’est la règle la plus longue qui correspond au chemin qui l’emporte. Allow: /blog/public/ passe donc devant Disallow: /blog/. À longueur égale, Google retient la règle la moins restrictive, l’Allow. Le joker * remplace n’importe quelle suite de caractères et $ marque la fin de l’adresse : Disallow: /*.pdf$ bloque les PDF, mais pas /guide.pdf?version=2.
Le code de réponse du fichier compte aussi. Un robots.txt introuvable (erreur 404) signifie que tout est autorisé. Un fichier en erreur serveur (5xx) ou en 429 est traité temporairement par Google comme un blocage complet du site.
Robots d’IA : ce que bloque chaque ligne
Les éditeurs d’IA utilisent des robots différents selon l’usage. Bloquer l’un ne bloque pas les autres : un site peut refuser l’entraînement des modèles tout en restant visible dans les réponses avec sources.
| Robot | Éditeur | À quoi il sert |
|---|---|---|
| GPTBot | OpenAI | Collecte de contenus pour l’entraînement des modèles |
| OAI-SearchBot | OpenAI | Apparition des sites dans les résultats de recherche de ChatGPT |
| ChatGPT-User | OpenAI | Visite d’une page à la demande d’un utilisateur ; OpenAI précise que le robots.txt peut ne pas s’appliquer |
| ClaudeBot | Anthropic | Collecte de contenus qui peuvent servir à l’entraînement |
| Claude-SearchBot | Anthropic | Qualité des résultats de recherche de Claude |
| Claude-User | Anthropic | Visite d’une page quand un utilisateur pose une question à Claude |
| PerplexityBot | Perplexity | Apparition et liens dans les résultats de Perplexity ; non utilisé pour entraîner des modèles selon l’éditeur |
| Perplexity-User | Perplexity | Visite à la demande d’un utilisateur ; selon l’éditeur, il ignore en général le robots.txt |
| Google-Extended | Pas un robot à part : un jeton qui décide si les pages explorées par Google servent à Gemini (entraînement et ancrage). Il ne change rien à Google Search |
Exemple : pour refuser l’entraînement chez OpenAI tout en restant dans la recherche de ChatGPT, deux groupes suffisent : User-agent: GPTBot / Disallow: /, puis User-agent: OAI-SearchBot / Allow: /. Pour aller plus loin sur la visibilité dans les assistants : apparaître dans ChatGPT, Claude et Perplexity.
Les erreurs les plus fréquentes
Disallow: /oublié après la mise en ligne : le site de préproduction était fermé aux robots, la règle est restée. Tout le site disparaît peu à peu des résultats.- Utiliser le robots.txt pour retirer une page de Google : il empêche l’exploration, pas l’indexation. Une page bloquée peut rester dans les résultats si d’autres sites la citent. Pour la retirer, il faut une balise
noindex, et laisser la page explorable pour que Google la lise. - Bloquer les fichiers CSS et JavaScript : Google ne peut plus afficher la page comme un visiteur et la comprend moins bien.
- Un groupe dédié qui fait oublier les règles générales : un robot qui a son propre groupe n’applique plus celui de
*. Recopiez dans son groupe les règles qui doivent rester. - Des directives que Google ignore :
Crawl-delay,Noindex(abandonné par Google le 1er septembre 2019),Host.
Questions fréquentes sur le robots.txt
C’est quoi un fichier robots.txt ?
Un fichier texte placé à la racine d’un site (exemple.fr/robots.txt) qui indique aux robots des moteurs de recherche et des IA les parties du site qu’ils peuvent explorer ou non. Il s’applique à un seul hôte : www.exemple.fr et exemple.fr ont chacun le leur, tout comme http et https.
Comment tester un robots.txt ?
Indiquez le domaine dans l’outil ci-dessus, avec le chemin d’une page si vous voulez vérifier un cas précis : vous obtenez le verdict pour 14 robots et la ligne qui décide. Pour un fichier pas encore en ligne, collez-le dans le second mode. Pour Google, le rapport robots.txt de la Search Console montre aussi la version que Google a lue et quand.
Robots.txt ou noindex : lequel utiliser ?
Le robots.txt gère l’exploration : il évite que les robots perdent du temps sur des pages sans intérêt (filtres, recherche interne, espace client). La balise noindex gère l’indexation : elle retire une page des résultats. Ne combinez pas les deux sur la même page : si la page est bloquée, Google ne voit jamais son noindex.
Faut-il déclarer le sitemap dans le robots.txt ?
Ce n’est pas obligatoire, mais c’est utile : la ligne Sitemap: https://www.exemple.fr/sitemap.xml est lue par Google, Bing et d’autres robots, même ceux qui n’ont pas accès à votre Search Console. Une adresse complète est attendue, et vous pouvez en déclarer plusieurs.
Comment bloquer les robots d’IA sans disparaître de leurs réponses ?
Bloquez les robots d’entraînement (GPTBot, ClaudeBot, Google-Extended) et laissez les robots de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot). Chaque réglage est indépendant. Testez ensuite le fichier ici pour vérifier que chaque robot reçoit bien le verdict voulu.
Google respecte-t-il le Crawl-delay ?
Non, Google ignore cette ligne ; Bing la lit. Pour ralentir Googlebot en urgence, Google recommande de renvoyer temporairement des erreurs 503 ou 429, jamais de le faire par le robots.txt.
Robots.txt ou llms.txt : quelle différence ?
Le robots.txt autorise ou interdit l’exploration. Le llms.txt est une proposition de fichier qui résume un site pour les modèles de langage : il n’autorise ni ne bloque rien, et ne remplace pas le robots.txt.
Autres outils SEO gratuits
- Audit SEO gratuit en 38 points : il vérifie aussi la présence du robots.txt et du sitemap
- Test des données structurées : validateur JSON-LD en français
- Test meta title et meta description : aperçu du résultat Google
Comment fonctionne l’outil, et ce qu’il ne fait pas.
Outil conçu par Sylvain Gougeon, consultant SEO à Nantua (Ain).
Comment ça marche
- Le serveur de SiteNova lit uniquement l’adresse /robots.txt du domaine indiqué, en suivant au plus trois redirections vers un autre /robots.txt.
- L’analyse suit la norme RFC 9309 et les règles documentées par Google : groupe le plus précis, règle la plus longue, Allow à égalité.
- Le verdict indique la ligne exacte qui autorise ou bloque.
Limites à connaître
- Autorisé ne veut pas dire indexé : le test ne dit pas si la page est dans Google.
- Un pare-feu ou un hébergeur peut bloquer un robot sans que le robots.txt le montre.
- Les robots qui agissent à la demande d’un utilisateur peuvent ne pas suivre le fichier, selon leurs éditeurs.
- Les adresses locales, privées ou sur un port inhabituel ne sont pas testées.
Vos données
- Aucun compte, aucun e-mail demandé.
- Un fichier collé reste dans votre navigateur.
- Un fichier récupéré est gardé en mémoire 10 minutes, pour ne pas solliciter deux fois le site testé, puis effacé.
Sources de référence
- Interprétation du fichier robots.txt, Google Search Central.
- RFC 9309, Robots Exclusion Protocol, IETF.
- Robots d’exploration de Google (dont Google-Extended), Google Search Central.
- Robots d’OpenAI, robots d’Anthropic et robots de Perplexity, documentation des éditeurs consultée le 1er novembre 2026.
Page publiée le 4 novembre 2026
Besoin d’aller au-delà d’un outil ?
L’audit SEO complet passe tout le site en revue : exploration et indexation, contenu, maillage et concurrence, avec un plan d’action priorisé et une visio d’une heure. Livré sous 6 jours ouvrés, sur devis.
Les autres outils gratuits sont sur la page outils SEO.
