Bien écrire son robots.txt
La syntaxe, la correspondance et les erreurs qui bloquent plus que prévu, comme un Disallow: / égaré.
Le robots.txt pour le SEO (en anglais)Outil SEO gratuit · Règles de correspondance de Google
Saisissez une URL pour récupérer son robots.txt en ligne et voir si Googlebot, Bingbot et les principaux robots IA peuvent l’explorer, avec la ligne qui décide. Modifiez le fichier et testez de nouveau avant de le déployer.
Saisissez l’URL d’une page ou un domaine. L’outil lit le robots.txt du même protocole et du même hôte, comme le font les robots.
Résultats
Vous testez votre robots.txt modifié, pas le fichier en ligne.
| Robot | Résultat | Règle décisive |
|---|
Modifiez le fichier pour tester un changement. Rien n’est enregistré ni envoyé ; les résultats se mettent à jour pendant la saisie.
Fonctionnement
L’outil applique les mêmes règles, tirées de la documentation de Google et du standard Robots Exclusion Protocol (RFC 9309).
| Quel groupe s’applique | Un robot suit le groupe qui nomme son jeton user-agent, sans tenir compte de la casse. Plusieurs groupes pour le même robot sont fusionnés. C’est seulement si aucun groupe ne le nomme qu’il suit User-agent: * ; les deux ne sont jamais combinés. |
|---|---|
| Quelle règle l’emporte | La règle correspondante au chemin le plus long l’emporte. Quand un Allow et un Disallow ont la même longueur, Google utilise la règle la moins restrictive, Allow. |
| Caractères génériques | * correspond à n’importe quelle suite de caractères et un $ final marque la fin de l’URL. Les chemins sont sensibles à la casse et doivent commencer par /. |
| Champs pris en charge | user-agent, allow, disallow et sitemap. Google ignore les autres, comme crawl-delay. |
| Portée | Un fichier robots.txt ne couvre que son propre protocole, son hôte et son port. blog.example.com a besoin de son propre fichier. |
| Fichier absent ou en erreur | Une réponse 4xx (sauf 429) équivaut à l’absence de fichier : tout est autorisé. Une erreur 5xx, 429 ou réseau fait suspendre à Google l’exploration du site pendant 12 heures, puis il utilise la dernière copie valide pendant 30 jours au maximum. |
| Redirections et taille | Google suit au moins cinq redirections pour le robots.txt, puis le considère comme absent. Il lit les 500 premiers Kio et ignore le reste. |
| Cache | Google met généralement le robots.txt en cache jusqu’à 24 heures : un changement peut donc prendre une journée. |
Sources : Comment Google interprète la spécification robots.txt et RFC 9309.
Liste des robots
Chaque jeton est documenté par l’entreprise qui exploite le robot. Les robots évoluent : consultez la page de l’opérateur avant de vous fier à une règle.
| Jeton | Opérateur | Utilisé pour | Source |
|---|---|---|---|
Googlebot | Moteurs de rechercheAussi pour les aperçus IA et le mode IA | Documentation ↗ | |
Bingbot | Microsoft | Moteurs de recherche | Documentation ↗ |
Applebot | Apple | Moteurs de rechercheSpotlight, Siri et Safari ; les données peuvent aussi entraîner les modèles d’Apple | Documentation ↗ |
OAI-SearchBot | OpenAI | Recherche IA | Documentation ↗ |
Claude-SearchBot | Anthropic | Recherche IA | Documentation ↗ |
PerplexityBot | Perplexity | Recherche IA | Documentation ↗ |
Amzn-SearchBot | Amazon | Recherche IA | Documentation ↗ |
GPTBot | OpenAI | Entraînement IA | Documentation ↗ |
ClaudeBot | Anthropic | Entraînement IA | Documentation ↗ |
Google-Extended | Entraînement IAUn jeton robots.txt, pas un robot à part | Documentation ↗ | |
Applebot-Extended | Apple | Entraînement IAUn jeton robots.txt, pas un robot à part | Documentation ↗ |
meta-externalagent | Meta | Entraînement IA | Documentation ↗ |
Amazonbot | Amazon | Entraînement IAAméliore les produits Amazon ; peut entraîner les modèles d’IA d’Amazon | Documentation ↗ |
CCBot | Common Crawl | Entraînement IA | Documentation ↗ |
ChatGPT-User | OpenAI | Récupérations à la demandePeut ignorer le robots.txt | Documentation ↗ |
Claude-User | Anthropic | Récupérations à la demande | Documentation ↗ |
Perplexity-User | Perplexity | Récupérations à la demandePeut ignorer le robots.txt | Documentation ↗ |
meta-externalfetcher | Meta | Récupérations à la demandePeut ignorer le robots.txt | Documentation ↗ |
Étape suivante
Une URL bloquée n’est un problème que si vous vouliez qu’elle soit explorée. Ces guides couvrent les cas courants.
La syntaxe, la correspondance et les erreurs qui bloquent plus que prévu, comme un Disallow: / égaré.
Le robots.txt pour le SEO (en anglais)Refuser l’entraînement IA tout en restant cité dans les réponses de ChatGPT, Claude et Perplexity.
Bloquer les robots IA (en anglais)Le robots.txt empêche l’exploration, pas l’indexation. Pour retirer une page des résultats, utilisez noindex.
Noindex ou robots.txt (en anglais)Bon à savoir
Sources : Google Search Central et RFC 9309.
Saisissez l’URL ci-dessus : l’outil récupère le robots.txt en ligne de l’hôte et indique, pour chaque robot, si l’URL est autorisée et quelle ligne en décide. Pour Googlebot, l’outil d’inspection d’URL de la Search Console indique aussi si une URL est bloquée.
Non. Google indique qu’une URL bloquée peut être indexée sans être explorée si d’autres pages pointent vers elle, généralement sans description. Pour garder une page hors des résultats, autorisez l’exploration et utilisez une balise meta ou un en-tête noindex.
La règle dont le chemin correspondant est le plus long. Si une règle Allow et une règle Disallow ont la même longueur, Google utilise la moins restrictive, Allow.
Parce que votre fichier contient un groupe pour Googlebot. Un robot qui trouve un groupe à son nom ne suit que celui-ci et ignore le groupe *. Répétez donc les règles communes dans le groupe Googlebot.
Une 404 ou une autre 4xx (sauf 429) équivaut à l’absence de robots.txt : tout peut être exploré. Une 5xx ou une 429 fait suspendre à Google l’exploration du site pendant 12 heures, puis il utilise la dernière copie valide pendant 30 jours au maximum.
Crawlens explore avec le user-agent de votre choix et peut suivre ses règles robots.txt, signale les pages liées que le robots.txt bloque, et son analyse des logs serveur montre quels robots IA ont réellement demandé vos pages.
Télécharger gratuitement pour Windows