Nouvelle étudeTechnical SEO & AI Search · 2027Découvrir le framework

Outil SEO gratuit · Règles de correspondance de Google

Testeur robots.txt & robots IA

Saisissez une URL pour récupérer son robots.txt en ligne et voir si Googlebot, Bingbot et les principaux robots IA peuvent l’explorer, avec la ligne qui décide. Modifiez le fichier et testez de nouveau avant de le déployer.

18 robots vérifiés d’un coupModifiez et retestez dans le navigateurLes règles robots.txt de Google ↗
Tester une URL

Quels robots peuvent accéder à cette page ?

Saisissez l’URL d’une page ou un domaine. L’outil lit le robots.txt du même protocole et du même hôte, comme le font les robots.

Fonctionnement

Comment Google lit le robots.txt

L’outil applique les mêmes règles, tirées de la documentation de Google et du standard Robots Exclusion Protocol (RFC 9309).

Quel groupe s’appliqueUn robot suit le groupe qui nomme son jeton user-agent, sans tenir compte de la casse. Plusieurs groupes pour le même robot sont fusionnés. C’est seulement si aucun groupe ne le nomme qu’il suit User-agent: * ; les deux ne sont jamais combinés.
Quelle règle l’emporteLa règle correspondante au chemin le plus long l’emporte. Quand un Allow et un Disallow ont la même longueur, Google utilise la règle la moins restrictive, Allow.
Caractères génériques* correspond à n’importe quelle suite de caractères et un $ final marque la fin de l’URL. Les chemins sont sensibles à la casse et doivent commencer par /.
Champs pris en chargeuser-agent, allow, disallow et sitemap. Google ignore les autres, comme crawl-delay.
PortéeUn fichier robots.txt ne couvre que son propre protocole, son hôte et son port. blog.example.com a besoin de son propre fichier.
Fichier absent ou en erreurUne réponse 4xx (sauf 429) équivaut à l’absence de fichier : tout est autorisé. Une erreur 5xx, 429 ou réseau fait suspendre à Google l’exploration du site pendant 12 heures, puis il utilise la dernière copie valide pendant 30 jours au maximum.
Redirections et tailleGoogle suit au moins cinq redirections pour le robots.txt, puis le considère comme absent. Il lit les 500 premiers Kio et ignore le reste.
CacheGoogle met généralement le robots.txt en cache jusqu’à 24 heures : un changement peut donc prendre une journée.

Sources : Comment Google interprète la spécification robots.txt et RFC 9309.

Liste des robots

Les robots vérifiés par l’outil

Chaque jeton est documenté par l’entreprise qui exploite le robot. Les robots évoluent : consultez la page de l’opérateur avant de vous fier à une règle.

JetonOpérateurUtilisé pourSource
GooglebotGoogleMoteurs de rechercheAussi pour les aperçus IA et le mode IADocumentation ↗
BingbotMicrosoftMoteurs de rechercheDocumentation ↗
ApplebotAppleMoteurs de rechercheSpotlight, Siri et Safari ; les données peuvent aussi entraîner les modèles d’AppleDocumentation ↗
OAI-SearchBotOpenAIRecherche IADocumentation ↗
Claude-SearchBotAnthropicRecherche IADocumentation ↗
PerplexityBotPerplexityRecherche IADocumentation ↗
Amzn-SearchBotAmazonRecherche IADocumentation ↗
GPTBotOpenAIEntraînement IADocumentation ↗
ClaudeBotAnthropicEntraînement IADocumentation ↗
Google-ExtendedGoogleEntraînement IAUn jeton robots.txt, pas un robot à partDocumentation ↗
Applebot-ExtendedAppleEntraînement IAUn jeton robots.txt, pas un robot à partDocumentation ↗
meta-externalagentMetaEntraînement IADocumentation ↗
AmazonbotAmazonEntraînement IAAméliore les produits Amazon ; peut entraîner les modèles d’IA d’AmazonDocumentation ↗
CCBotCommon CrawlEntraînement IADocumentation ↗
ChatGPT-UserOpenAIRécupérations à la demandePeut ignorer le robots.txtDocumentation ↗
Claude-UserAnthropicRécupérations à la demandeDocumentation ↗
Perplexity-UserPerplexityRécupérations à la demandePeut ignorer le robots.txtDocumentation ↗
meta-externalfetcherMetaRécupérations à la demandePeut ignorer le robots.txtDocumentation ↗

Étape suivante

Corrigez ce que le test révèle

Une URL bloquée n’est un problème que si vous vouliez qu’elle soit explorée. Ces guides couvrent les cas courants.

Index

Garder une page hors des résultats

Le robots.txt empêche l’exploration, pas l’indexation. Pour retirer une page des résultats, utilisez noindex.

Noindex ou robots.txt (en anglais)

Bon à savoir

FAQ du testeur robots.txt

Sources : Google Search Central et RFC 9309.

Comment savoir si une URL est bloquée par le robots.txt ?

Saisissez l’URL ci-dessus : l’outil récupère le robots.txt en ligne de l’hôte et indique, pour chaque robot, si l’URL est autorisée et quelle ligne en décide. Pour Googlebot, l’outil d’inspection d’URL de la Search Console indique aussi si une URL est bloquée.

Bloquer une page dans le robots.txt la retire-t-il de Google ?

Non. Google indique qu’une URL bloquée peut être indexée sans être explorée si d’autres pages pointent vers elle, généralement sans description. Pour garder une page hors des résultats, autorisez l’exploration et utilisez une balise meta ou un en-tête noindex.

Quelle règle l’emporte quand Allow et Disallow se contredisent ?

La règle dont le chemin correspondant est le plus long. Si une règle Allow et une règle Disallow ont la même longueur, Google utilise la moins restrictive, Allow.

Pourquoi Googlebot ignore-t-il mes règles User-agent: * ?

Parce que votre fichier contient un groupe pour Googlebot. Un robot qui trouve un groupe à son nom ne suit que celui-ci et ignore le groupe *. Répétez donc les règles communes dans le groupe Googlebot.

Que se passe-t-il si le robots.txt renvoie une erreur 404 ou 500 ?

Une 404 ou une autre 4xx (sauf 429) équivaut à l’absence de robots.txt : tout peut être exploré. Une 5xx ou une 429 fait suspendre à Google l’exploration du site pendant 12 heures, puis il utilise la dernière copie valide pendant 30 jours au maximum.

Testez le robots.txt sur tout le site

Crawlens explore avec le user-agent de votre choix et peut suivre ses règles robots.txt, signale les pages liées que le robots.txt bloque, et son analyse des logs serveur montre quels robots IA ont réellement demandé vos pages.

Télécharger gratuitement pour Windows