Nouvelle étudeTechnical SEO & AI Search · 2027Découvrir le framework

Crawl et indexation : comment les moteurs trouvent vos pages

Comment fonctionnent le crawl et l'indexation, ce qui bloque chaque étape, comment lire le rapport d'indexation des pages et auditer l'explorabilité du site.

Les guides cités en lien s’ouvrent en anglais tant qu’ils ne sont pas traduits.

Chaque page qui se classe a suivi le même parcours : un moteur de recherche a découvert son URL, l’a récupérée, l’a rendue, l’a jugée digne d’être gardée et l’a enregistrée dans son index. Un échec à n’importe quelle étape empêche la page d’apparaître, et la plupart des échecs ne font aucun bruit. La page n’est tout simplement jamais là.

Ce guide explique chaque étape, ce qui la bloque, comment lire les rapports que Google vous donne, et comment auditer le crawl et l’indexation sur tout un site. Chaque section renvoie vers un guide détaillé.

Quelle est la différence entre crawl et indexation ?

Le crawl, c’est un moteur de recherche qui télécharge votre page ; l’indexation, c’est le moteur qui analyse cette page et l’enregistre pour qu’elle puisse apparaître dans les résultats. Google décrit le crawl ainsi : « Google télécharge des textes, des images et des vidéos à partir de pages détectées sur Internet par le biais de programmes automatisés appelés robots d’exploration », suivi de l’indexation, où il analyse le contenu et détermine quelle URL est canonique (fonctionnement de la recherche Google).

Les deux peuvent se dissocier :

  • Crawlée, pas indexée : Google a récupéré la page mais a décidé de ne pas la garder, l’indexation n’étant pas garantie.
  • Indexée, pas crawlée : une page bloquée par le robots.txt peut rester indexée grâce aux liens qui pointent vers elle, sans son contenu.

Comment une page passe-t-elle de votre serveur à l’index ?

Étape Ce qui se passe Ce qui la bloque
Découverte Le moteur de recherche apprend que l’URL existe, via liens, sitemaps ou soumissions Pas de liens internes, absente des sitemaps, liens ajoutés uniquement par JavaScript
Crawl Le robot demande l’URL Disallow du robots.txt, erreurs serveur, délais dépassés, protection anti-bots
Rendu La page tourne dans un navigateur pour que les scripts ajoutent du contenu Scripts en échec, expirés ou exigeant une interaction
Indexation Le contenu est analysé et enregistré, et une URL canonique est choisie Statut non 200, noindex, canonical vers une autre URL, contenu dupliqué ou de faible valeur
Diffusion Les pages indexées sont classées pour les requêtes Tout le reste du SEO

Les exigences techniques de Google ramènent les quatre premières étapes à trois conditions : « Googlebot n’est pas bloqué. », « La page fonctionne, ce qui signifie que Google reçoit un code d’état HTTP 200 (success). » et « La page présente du contenu indexable. »

Comment les moteurs de recherche découvrent-ils les pages ?

Surtout par les liens. Un robot qui part de votre accueil et suit les liens atteint chaque page liée, et rien de ce qui ne l’est pas. Le maillage interne devient donc le principal levier que vous contrôlez :

Pour les applications monopages, la découverte dépend aussi de vrais liens et d’URL qui fonctionnent au chargement direct. Le guide du SEO de la navigation SPA couvre le routage côté client, les changements d’API History et les vérifications de liens profonds.

Le contenu révélé seulement après un défilement ou un clic peut aussi être manqué. Le guide du SEO du lazy loading explique comment garder images, produits profonds et pages à défilement infini découvrables.

Les sitemaps XML sont le deuxième canal. Selon Google, ils aident surtout les grands sites, les nouveaux sites avec peu de liens externes, et les sites riches en médias, avec cette réserve : « Un sitemap aide les moteurs de recherche à découvrir les URL de votre site, mais ne garantit pas que tous les éléments de votre sitemap seront explorés et indexés. » (présentation des sitemaps). Un sitemap plein de redirections, d’erreurs et d’URL en noindex vaut moins qu’un sitemap court et exact. Voir l’audit du sitemap XML.

Quand l’inventaire dépasse un fichier, le guide du SEO de l’index de sitemaps montre comment le diviser en sitemaps enfants valides et suivre chaque groupe.

Dans chaque fichier, le guide lastmod du sitemap explique quand la date de modification d’une page doit changer et comment repérer les générateurs qui tamponnent chaque URL avec la date de build.

Qu’est-ce qui empêche une page d’être crawlée ?

Cause Comment cela se voit Vérification Crawlens
Le robots.txt interdit l’URL Bloquée par le robots.txt Linked pages blocked by robots.txt
Erreurs serveur Réponses 5xx ; Google ralentit le crawl Internal pages return 5xx
Délais dépassés, échecs DNS ou SSL Pas de réponse Pages did not respond
Pare-feu ou protection anti-bots 403 ou pages de défi pour les seuls robots Pages PageSpeed Insights could not test l’indique souvent
Liée nulle part Jamais découverte en suivant les liens Orphan pages
Trop profonde Rarement crawlée Pages more than 4 clicks from the start
Liens seulement après rendu Découverte tardive, voire jamais Links only in rendered HTML
Réponses lentes Moins de pages crawlées par visite Slow server response (over 1 second)

Qu’est-ce qui empêche une page d’être indexée ?

Cause Que vérifier Vérification Crawlens
noindex en balise meta ou en-tête X-Robots-Tag Voulu, ou oublié du staging ? Noindex pages
Canonical vers une autre URL L’autre URL est-elle la bonne, et indexable ? Canonicalised pages, Canonical points to a non-200 URL, to a noindex page
Code de statut non 200 4xx, 5xx ou redirection Internal pages return 4xx
Doublon d’une autre page Google choisit une URL et écarte les autres Duplicate content
Trop peu de contenu Peu de raisons de l’indexer Thin content (under 200 words)
Contenu seulement après JavaScript Indexation plus lente, et en échec si le rendu échoue Content depends on JavaScript

Les guides détaillés : noindex ou robots.txt, X-Robots-Tag, codes de statut HTTP, les erreurs de balise canonical, le contenu dupliqué, le contenu pauvre et les erreurs soft 404.

Quels réglages affectent le crawl, et lesquels l’indexation ?

Les confondre cause plus de problèmes d’indexation que tout le reste.

Réglage Affecte le crawl Affecte l’indexation Pour
Disallow du robots.txt Oui Non (les URL bloquées peuvent rester indexées via les liens) Tenir les robots hors des zones sans valeur de recherche : paniers, recherche interne, filtres infinis
noindex (meta ou en-tête) Non Oui Tenir une page hors des résultats. La page doit rester crawlable pour que la directive soit vue
rel="canonical" Non Indication Dire laquelle de plusieurs URL similaires devrait être indexée
Redirection 301 / 308 Déplace le robot Déplace les signaux vers la cible Retirer ou déplacer une URL
404 / 410 De moins en moins crawlée Retirée de l’index Supprimer une page sans remplaçante
nofollow sur liens internes Retient le signal du lien Non Rarement utile en interne
Sitemap XML Aide la découverte Non Lister les URL canoniques indexables à faire découvrir

L’erreur classique est de bloquer une page dans le robots.txt pour la retirer de Google : le robot ne peut plus voir le noindex, et l’URL peut rester indexée. Noindex ou robots.txt détaille ce cas, et le robots.txt pour le SEO couvre la syntaxe et comment les robots choisissent les règles applicables. Pour vérifier une URL avec le fichier en ligne pour Googlebot et les principaux robots IA, utilisez le testeur robots.txt gratuit.

Le guide de l’API Indexing de Google explique pourquoi les notifications par API sont réservées aux offres d’emploi et diffusions éligibles, pas un substitut aux liens et sitemaps sur les sites ordinaires.

Quand des paramètres créent plusieurs versions d’une page, choisissez le réglage selon ce que chaque version change. Le guide des paramètres d’URL et du SEO passe en revue tracking, tri, pagination et filtres sans bloquer par erreur des pages utiles.

Le budget de crawl compte-t-il pour votre site ?

Probablement pas, sauf si le site est grand. Le guide sur le budget de crawl de Google est écrit pour les grands sites (plus d’un million d’URL uniques) au contenu modérément changeant (une fois par semaine), les sites moyens ou grands (10 000 URL uniques et plus) au contenu très changeant (quotidien), et les sites avec beaucoup d’URL signalées Discovered - currently not indexed. Pour les autres, selon Google, ce guide n’est pas nécessaire.

Quand il compte vraiment, le conseil est de cesser de gaspiller des crawls : bloquez dans le robots.txt les URL à ne pas crawler, « Renvoyez un code d’état 404 ou 410 pour les pages supprimées définitivement. », corrigez les soft 404, « Mettez régulièrement à jour vos sitemaps. », « Évitez les longues chaînes de redirection », et rendez les pages rapides à charger.

La seule façon de voir où passe vraiment le budget de crawl, ce sont les logs serveur : quelles URL Googlebot demande, à quelle fréquence, et ce qu’il reçoit. Voir l’analyse de logs et le budget de crawl pour le détail ; le cadre SEO technique entreprise relie ces constats aux grands inventaires d’URL et aux mises en ligne.

Pour un aperçu rapide des tendances de requêtes, de la disponibilité de l’hôte, des codes de réponse et des types de Googlebot, lisez le rapport sur les statistiques d’exploration. Il montre tendances et exemples d’URL ; les logs restent nécessaires pour un historique complet requête par requête.

Comment lire le rapport sur l’indexation des pages de la Search Console ?

Le rapport sur l’indexation des pages explique pourquoi Google n’a pas indexé chaque URL qu’il connaît. Les états les plus fréquents :

État Ce que dit Google Que faire
Discovered - currently not indexed « La page a été détectée par Google, mais n’a pas encore été explorée. En règle générale, cela signifie que Google voulait explorer l’URL, mais que l’exploration a été reportée, car votre site risquait d’être surchargé. C’est pourquoi la dernière date d’exploration ne figure pas dans le rapport. » Vérifiez vitesse et erreurs du serveur ; renforcez les liens internes vers les pages
Crawled - currently not indexed « La page a été explorée par Google, mais pas indexée. Elle sera peut-être indexée à l’avenir ; il n’est pas nécessaire de renvoyer cette URL pour l’exploration. » Améliorez, fusionnez ou retirez les pages pauvres et dupliquées
Duplicate without user-selected canonical « Cette page est marquée comme canonique, mais nous pensons qu’une autre URL serait une version canonique plus appropriée. Google a indexé la page que nous considérons comme canonique plutôt que celle-ci. » Ajoutez des canonicals ou fusionnez les doublons
Alternate page with proper canonical tag « Cette page est marquée comme une version alternative d’une autre page. Il peut donc s’agir d’une page AMP avec une URL canonique pour ordinateur, de la version mobile d’une URL canonique pour ordinateur, ou de la version pour ordinateur d’une URL canonique pour mobile. Elle renvoie correctement vers la page canonique, qui est indexée. » Aucune action n’est donc requise. Rien, si le canonical est voulu
URL marked ‘noindex’ « Lorsque nous avons tenté d’indexer la page, nous avons identifié une directive “noindex” et ne l’avons donc pas indexée. » Retirez le noindex si la page doit se classer
URL blocked by robots.txt « Cette page a été bloquée par le fichier robots.txt de votre site. » Autorisez-la si la page doit se classer
Indexed, though blocked by robots.txt « La page a été indexée malgré son blocage par le fichier robots.txt de votre site Web. Google respecte toujours le fichier robots.txt, mais si un autre site redirige vers la page, le blocage est contourné. Google ne demande pas et n’explore pas la page. » Autorisez le crawl et ajoutez noindex, ou laissez-la s’indexer proprement

Le rapport dit ce que Google a décidé, par échantillon et avec retard. Un crawl dit l’état actuel de chaque URL. Utilisez les deux. Pour les deux états les plus courants, voir crawled - currently not indexed.

Comment auditer le crawl et l’indexation sur tout un site ?

  1. Crawlez le site depuis l’accueil en respectant le robots.txt. Tout ce que le crawl n’atteint pas par les liens, les moteurs ne l’atteignent pas non plus. Dans Crawlens, le tableau des URL se filtre par indexabilité, pour voir chaque URL non indexable avec sa raison (noindex, canonicalisée, redirection, erreur, bloquée).
  2. Crawlez aussi les sitemaps. Le mode Sitemap avec Also follow links activé compare les deux : les URL seulement dans le sitemap sont orphelines, et les URL du sitemap non indexables apparaissent comme Non-indexable URLs in sitemaps.
  3. Rendez le JavaScript sur les sites rendus côté client, pour voir liens et contenus qui n’existent qu’après les scripts.
  4. Reliez la Search Console. Trois vérifications montrent où crawl et Google divergent : URLs with impressions the crawl did not find, Pages with search traffic are not indexable et Indexable pages with no search impressions.
  5. Importez les logs serveur pour voir ce que fait vraiment Googlebot : Indexable pages Googlebot did not crawl, URLs Googlebot crawls that the crawl did not find et Googlebot gets errors.
  6. Corrigez, recrawlez et comparez. Confirmez ensuite dans la Search Console les semaines suivantes : selon Google : « L’exploration peut prendre plusieurs jours, voire plusieurs semaines. » (demander à Google de recrawler).

Les moteurs de recherche IA ont leurs propres robots avec leurs propres règles, et la plupart n’effectuent pas le rendu JavaScript. La checklist de préparation à la recherche IA couvre ce qui change pour eux. Pour situer crawl et indexation dans un audit complet, voir le guide de l’audit SEO technique.

Checklist du crawl et de l’indexation

Découverte

  • Chaque page importante liée depuis au moins une autre page, idéalement plusieurs
  • Pages importantes à quatre clics de l’accueil
  • Navigation et liens clés présents dans le HTML brut
  • Les sitemaps ne listent que des URL 200 canoniques indexables, et sont envoyés dans la Search Console

Crawl

  • Le robots.txt ne bloque que les zones sans valeur de recherche
  • Ni erreurs 5xx, ni délais dépassés, ni blocages anti-bots pour les robots des moteurs
  • Le serveur répond en moins d’une seconde
  • Pas de chaînes de redirection ; les pages retirées renvoient 404 ou 410

Indexation

  • Pas de noindex involontaire en balises meta ni en-têtes
  • Les canonicals pointent vers des URL 200 indexables
  • Doublons fusionnés ; pages pauvres améliorées, fusionnées ou retirées
  • Contenu principal présent sans JavaScript, ou rendu vérifié

Vérification

  • Rapport sur l’indexation des pages relu, état par état
  • Crawl relié aux données Search Console
  • Logs serveur vérifiés pour erreurs Googlebot et pages non crawlées (grands sites)
  • Recrawl et comparaison après correctifs

Tous les guides Crawl et indexation

Questions fréquentes

Quelle est la différence entre crawl et indexation ?

Le crawl, c'est le robot d'un moteur de recherche qui télécharge une page. L'indexation, c'est le moteur qui analyse cette page et l'enregistre pour pouvoir l'afficher dans les résultats. Une page peut être crawlée sans être indexée et, si elle est bloquée par le robots.txt mais liée depuis ailleurs, être indexée sans avoir été crawlée.

Combien de temps Google met-il à indexer une nouvelle page ?

Selon Google, le crawl peut prendre de quelques jours à quelques semaines. Un lien depuis des pages internes fortes, l'inscription au sitemap et une demande d'indexation dans l'outil d'inspection d'URL de la Search Console peuvent aider, mais rien ne garantit l'indexation.

Pourquoi ma page est-elle crawlée mais pas indexée ?

« Crawled - currently not indexed » signifie que Google a récupéré la page mais a décidé de ne pas l'indexer pour l'instant. Les raisons courantes sont le contenu dupliqué ou quasi dupliqué, les pages pauvres, ou les pages que Google ne juge pas assez utiles. Améliorez ou fusionnez la page ; selon Google, inutile de la soumettre à nouveau.

Un sitemap garantit-il l'indexation de mes pages ?

Non. Selon Google, un sitemap ne garantit pas que tous ses éléments seront crawlés et indexés. Il aide à la découverte, surtout sur les sites grands ou nouveaux, mais les pages doivent rester indexables et mériter l'indexation.

Le robots.txt peut-il tenir une page hors de Google ?

Pas de façon fiable. Le robots.txt arrête le crawl, pas l'indexation : une page bloquée peut rester indexée grâce aux liens qui pointent vers elle, sans son contenu. Pour tenir une page hors de l'index, laissez-la crawlable et ajoutez une directive noindex.

· Fondateur de Crawlens

Dien développe Crawlens, un crawler pour PC dédié aux audits SEO techniques, et écrit sur le crawl, l’indexation, le rendu et les données Search Console.

Auditez votre propre site avec Crawlens

Crawlez, lancez 70 contrôles et lisez-les à côté des données Search Console et Core Web Vitals.

Télécharger gratuitement pour Windows