Les guides cités en lien s’ouvrent en anglais tant qu’ils ne sont pas traduits.
Chaque page qui se classe a suivi le même parcours : un moteur de recherche a découvert son URL, l’a récupérée, l’a rendue, l’a jugée digne d’être gardée et l’a enregistrée dans son index. Un échec à n’importe quelle étape empêche la page d’apparaître, et la plupart des échecs ne font aucun bruit. La page n’est tout simplement jamais là.
Ce guide explique chaque étape, ce qui la bloque, comment lire les rapports que Google vous donne, et comment auditer le crawl et l’indexation sur tout un site. Chaque section renvoie vers un guide détaillé.
Quelle est la différence entre crawl et indexation ?
Le crawl, c’est un moteur de recherche qui télécharge votre page ; l’indexation, c’est le moteur qui analyse cette page et l’enregistre pour qu’elle puisse apparaître dans les résultats. Google décrit le crawl ainsi : « Google télécharge des textes, des images et des vidéos à partir de pages détectées sur Internet par le biais de programmes automatisés appelés robots d’exploration », suivi de l’indexation, où il analyse le contenu et détermine quelle URL est canonique (fonctionnement de la recherche Google).
Les deux peuvent se dissocier :
- Crawlée, pas indexée : Google a récupéré la page mais a décidé de ne pas la garder, l’indexation n’étant pas garantie.
- Indexée, pas crawlée : une page bloquée par le robots.txt peut rester indexée grâce aux liens qui pointent vers elle, sans son contenu.
Comment une page passe-t-elle de votre serveur à l’index ?
| Étape | Ce qui se passe | Ce qui la bloque |
|---|---|---|
| Découverte | Le moteur de recherche apprend que l’URL existe, via liens, sitemaps ou soumissions | Pas de liens internes, absente des sitemaps, liens ajoutés uniquement par JavaScript |
| Crawl | Le robot demande l’URL | Disallow du robots.txt, erreurs serveur, délais dépassés, protection anti-bots |
| Rendu | La page tourne dans un navigateur pour que les scripts ajoutent du contenu | Scripts en échec, expirés ou exigeant une interaction |
| Indexation | Le contenu est analysé et enregistré, et une URL canonique est choisie | Statut non 200, noindex, canonical vers une autre URL, contenu dupliqué ou de faible valeur |
| Diffusion | Les pages indexées sont classées pour les requêtes | Tout le reste du SEO |
Les exigences techniques de Google ramènent les quatre premières étapes à trois conditions : « Googlebot n’est pas bloqué. », « La page fonctionne, ce qui signifie que Google reçoit un code d’état HTTP 200 (success). » et « La page présente du contenu indexable. »
Comment les moteurs de recherche découvrent-ils les pages ?
Surtout par les liens. Un robot qui part de votre accueil et suit les liens atteint chaque page liée, et rien de ce qui ne l’est pas. Le maillage interne devient donc le principal levier que vous contrôlez :
- Pages orphelines, sans liens internes, entièrement dépendantes des sitemaps ou des liens externes. Voir les pages orphelines.
- Pages profondes, à plusieurs clics de l’accueil, moins souvent crawlées. Voir l’audit du maillage interne.
- Liens ajoutés uniquement par JavaScript, découverts plus tard par Google et jamais par les robots sans rendu. Voir le guide du SEO JavaScript pour le rendu et la découverte, et l’audit HTML brut contre HTML rendu pour la comparaison.
Pour les applications monopages, la découverte dépend aussi de vrais liens et d’URL qui fonctionnent au chargement direct. Le guide du SEO de la navigation SPA couvre le routage côté client, les changements d’API History et les vérifications de liens profonds.
Le contenu révélé seulement après un défilement ou un clic peut aussi être manqué. Le guide du SEO du lazy loading explique comment garder images, produits profonds et pages à défilement infini découvrables.
Les sitemaps XML sont le deuxième canal. Selon Google, ils aident surtout les grands sites, les nouveaux sites avec peu de liens externes, et les sites riches en médias, avec cette réserve : « Un sitemap aide les moteurs de recherche à découvrir les URL de votre site, mais ne garantit pas que tous les éléments de votre sitemap seront explorés et indexés. » (présentation des sitemaps). Un sitemap plein de redirections, d’erreurs et d’URL en noindex vaut moins qu’un sitemap court et exact. Voir l’audit du sitemap XML.
Quand l’inventaire dépasse un fichier, le guide du SEO de l’index de sitemaps montre comment le diviser en sitemaps enfants valides et suivre chaque groupe.
Dans chaque fichier, le guide lastmod du sitemap explique quand la date de modification d’une page doit changer et comment repérer les générateurs qui tamponnent chaque URL avec la date de build.
Qu’est-ce qui empêche une page d’être crawlée ?
| Cause | Comment cela se voit | Vérification Crawlens |
|---|---|---|
| Le robots.txt interdit l’URL | Bloquée par le robots.txt | Linked pages blocked by robots.txt |
| Erreurs serveur | Réponses 5xx ; Google ralentit le crawl | Internal pages return 5xx |
| Délais dépassés, échecs DNS ou SSL | Pas de réponse | Pages did not respond |
| Pare-feu ou protection anti-bots | 403 ou pages de défi pour les seuls robots | Pages PageSpeed Insights could not test l’indique souvent |
| Liée nulle part | Jamais découverte en suivant les liens | Orphan pages |
| Trop profonde | Rarement crawlée | Pages more than 4 clicks from the start |
| Liens seulement après rendu | Découverte tardive, voire jamais | Links only in rendered HTML |
| Réponses lentes | Moins de pages crawlées par visite | Slow server response (over 1 second) |
Qu’est-ce qui empêche une page d’être indexée ?
| Cause | Que vérifier | Vérification Crawlens |
|---|---|---|
noindex en balise meta ou en-tête X-Robots-Tag |
Voulu, ou oublié du staging ? | Noindex pages |
| Canonical vers une autre URL | L’autre URL est-elle la bonne, et indexable ? | Canonicalised pages, Canonical points to a non-200 URL, to a noindex page |
| Code de statut non 200 | 4xx, 5xx ou redirection | Internal pages return 4xx |
| Doublon d’une autre page | Google choisit une URL et écarte les autres | Duplicate content |
| Trop peu de contenu | Peu de raisons de l’indexer | Thin content (under 200 words) |
| Contenu seulement après JavaScript | Indexation plus lente, et en échec si le rendu échoue | Content depends on JavaScript |
Les guides détaillés : noindex ou robots.txt, X-Robots-Tag, codes de statut HTTP, les erreurs de balise canonical, le contenu dupliqué, le contenu pauvre et les erreurs soft 404.
Quels réglages affectent le crawl, et lesquels l’indexation ?
Les confondre cause plus de problèmes d’indexation que tout le reste.
| Réglage | Affecte le crawl | Affecte l’indexation | Pour |
|---|---|---|---|
Disallow du robots.txt |
Oui | Non (les URL bloquées peuvent rester indexées via les liens) | Tenir les robots hors des zones sans valeur de recherche : paniers, recherche interne, filtres infinis |
noindex (meta ou en-tête) |
Non | Oui | Tenir une page hors des résultats. La page doit rester crawlable pour que la directive soit vue |
rel="canonical" |
Non | Indication | Dire laquelle de plusieurs URL similaires devrait être indexée |
| Redirection 301 / 308 | Déplace le robot | Déplace les signaux vers la cible | Retirer ou déplacer une URL |
| 404 / 410 | De moins en moins crawlée | Retirée de l’index | Supprimer une page sans remplaçante |
nofollow sur liens internes |
Retient le signal du lien | Non | Rarement utile en interne |
| Sitemap XML | Aide la découverte | Non | Lister les URL canoniques indexables à faire découvrir |
L’erreur classique est de bloquer une page dans le robots.txt pour la retirer de Google : le robot ne peut plus voir le noindex, et l’URL peut rester indexée. Noindex ou robots.txt détaille ce cas, et le robots.txt pour le SEO couvre la syntaxe et comment les robots choisissent les règles applicables. Pour vérifier une URL avec le fichier en ligne pour Googlebot et les principaux robots IA, utilisez le testeur robots.txt gratuit.
Le guide de l’API Indexing de Google explique pourquoi les notifications par API sont réservées aux offres d’emploi et diffusions éligibles, pas un substitut aux liens et sitemaps sur les sites ordinaires.
Quand des paramètres créent plusieurs versions d’une page, choisissez le réglage selon ce que chaque version change. Le guide des paramètres d’URL et du SEO passe en revue tracking, tri, pagination et filtres sans bloquer par erreur des pages utiles.
Le budget de crawl compte-t-il pour votre site ?
Probablement pas, sauf si le site est grand. Le guide sur le budget de crawl de Google est écrit pour les grands sites (plus d’un million d’URL uniques) au contenu modérément changeant (une fois par semaine), les sites moyens ou grands (10 000 URL uniques et plus) au contenu très changeant (quotidien), et les sites avec beaucoup d’URL signalées Discovered - currently not indexed. Pour les autres, selon Google, ce guide n’est pas nécessaire.
Quand il compte vraiment, le conseil est de cesser de gaspiller des crawls : bloquez dans le robots.txt les URL à ne pas crawler, « Renvoyez un code d’état 404 ou 410 pour les pages supprimées définitivement. », corrigez les soft 404, « Mettez régulièrement à jour vos sitemaps. », « Évitez les longues chaînes de redirection », et rendez les pages rapides à charger.
La seule façon de voir où passe vraiment le budget de crawl, ce sont les logs serveur : quelles URL Googlebot demande, à quelle fréquence, et ce qu’il reçoit. Voir l’analyse de logs et le budget de crawl pour le détail ; le cadre SEO technique entreprise relie ces constats aux grands inventaires d’URL et aux mises en ligne.
Pour un aperçu rapide des tendances de requêtes, de la disponibilité de l’hôte, des codes de réponse et des types de Googlebot, lisez le rapport sur les statistiques d’exploration. Il montre tendances et exemples d’URL ; les logs restent nécessaires pour un historique complet requête par requête.
Comment lire le rapport sur l’indexation des pages de la Search Console ?
Le rapport sur l’indexation des pages explique pourquoi Google n’a pas indexé chaque URL qu’il connaît. Les états les plus fréquents :
| État | Ce que dit Google | Que faire |
|---|---|---|
| Discovered - currently not indexed | « La page a été détectée par Google, mais n’a pas encore été explorée. En règle générale, cela signifie que Google voulait explorer l’URL, mais que l’exploration a été reportée, car votre site risquait d’être surchargé. C’est pourquoi la dernière date d’exploration ne figure pas dans le rapport. » | Vérifiez vitesse et erreurs du serveur ; renforcez les liens internes vers les pages |
| Crawled - currently not indexed | « La page a été explorée par Google, mais pas indexée. Elle sera peut-être indexée à l’avenir ; il n’est pas nécessaire de renvoyer cette URL pour l’exploration. » | Améliorez, fusionnez ou retirez les pages pauvres et dupliquées |
| Duplicate without user-selected canonical | « Cette page est marquée comme canonique, mais nous pensons qu’une autre URL serait une version canonique plus appropriée. Google a indexé la page que nous considérons comme canonique plutôt que celle-ci. » | Ajoutez des canonicals ou fusionnez les doublons |
| Alternate page with proper canonical tag | « Cette page est marquée comme une version alternative d’une autre page. Il peut donc s’agir d’une page AMP avec une URL canonique pour ordinateur, de la version mobile d’une URL canonique pour ordinateur, ou de la version pour ordinateur d’une URL canonique pour mobile. Elle renvoie correctement vers la page canonique, qui est indexée. » Aucune action n’est donc requise. | Rien, si le canonical est voulu |
| URL marked ‘noindex’ | « Lorsque nous avons tenté d’indexer la page, nous avons identifié une directive “noindex” et ne l’avons donc pas indexée. » | Retirez le noindex si la page doit se classer |
| URL blocked by robots.txt | « Cette page a été bloquée par le fichier robots.txt de votre site. » | Autorisez-la si la page doit se classer |
| Indexed, though blocked by robots.txt | « La page a été indexée malgré son blocage par le fichier robots.txt de votre site Web. Google respecte toujours le fichier robots.txt, mais si un autre site redirige vers la page, le blocage est contourné. Google ne demande pas et n’explore pas la page. » | Autorisez le crawl et ajoutez noindex, ou laissez-la s’indexer proprement |
Le rapport dit ce que Google a décidé, par échantillon et avec retard. Un crawl dit l’état actuel de chaque URL. Utilisez les deux. Pour les deux états les plus courants, voir crawled - currently not indexed.
Comment auditer le crawl et l’indexation sur tout un site ?
- Crawlez le site depuis l’accueil en respectant le robots.txt. Tout ce que le crawl n’atteint pas par les liens, les moteurs ne l’atteignent pas non plus. Dans Crawlens, le tableau des URL se filtre par indexabilité, pour voir chaque URL non indexable avec sa raison (noindex, canonicalisée, redirection, erreur, bloquée).
- Crawlez aussi les sitemaps. Le mode Sitemap avec Also follow links activé compare les deux : les URL seulement dans le sitemap sont orphelines, et les URL du sitemap non indexables apparaissent comme Non-indexable URLs in sitemaps.
- Rendez le JavaScript sur les sites rendus côté client, pour voir liens et contenus qui n’existent qu’après les scripts.
- Reliez la Search Console. Trois vérifications montrent où crawl et Google divergent : URLs with impressions the crawl did not find, Pages with search traffic are not indexable et Indexable pages with no search impressions.
- Importez les logs serveur pour voir ce que fait vraiment Googlebot : Indexable pages Googlebot did not crawl, URLs Googlebot crawls that the crawl did not find et Googlebot gets errors.
- Corrigez, recrawlez et comparez. Confirmez ensuite dans la Search Console les semaines suivantes : selon Google : « L’exploration peut prendre plusieurs jours, voire plusieurs semaines. » (demander à Google de recrawler).
Les moteurs de recherche IA ont leurs propres robots avec leurs propres règles, et la plupart n’effectuent pas le rendu JavaScript. La checklist de préparation à la recherche IA couvre ce qui change pour eux. Pour situer crawl et indexation dans un audit complet, voir le guide de l’audit SEO technique.
Checklist du crawl et de l’indexation
Découverte
- Chaque page importante liée depuis au moins une autre page, idéalement plusieurs
- Pages importantes à quatre clics de l’accueil
- Navigation et liens clés présents dans le HTML brut
- Les sitemaps ne listent que des URL 200 canoniques indexables, et sont envoyés dans la Search Console
Crawl
- Le robots.txt ne bloque que les zones sans valeur de recherche
- Ni erreurs 5xx, ni délais dépassés, ni blocages anti-bots pour les robots des moteurs
- Le serveur répond en moins d’une seconde
- Pas de chaînes de redirection ; les pages retirées renvoient 404 ou 410
Indexation
- Pas de noindex involontaire en balises meta ni en-têtes
- Les canonicals pointent vers des URL 200 indexables
- Doublons fusionnés ; pages pauvres améliorées, fusionnées ou retirées
- Contenu principal présent sans JavaScript, ou rendu vérifié
Vérification
- Rapport sur l’indexation des pages relu, état par état
- Crawl relié aux données Search Console
- Logs serveur vérifiés pour erreurs Googlebot et pages non crawlées (grands sites)
- Recrawl et comparaison après correctifs
Tous les guides Crawl et indexation
- Google Indexing API SEO: who can use it and what it cannot doThe Google Indexing API is limited to qualifying job posting and livestream pages. Learn its real use cases, notification types and alternatives.
- HTTP status codes for SEO: what 200, 301, 404, 410 and 5xx mean for GoogleHow Google treats each HTTP status code: which can be indexed, which pass canonical signals, which slow crawling, and how to audit them across a site.
- Search Console Crawl Stats report: what the charts actually tell youRead host status, response codes, crawl purpose and Googlebot type in Search Console Crawl Stats, then know when URL inspection or logs are needed.
- Sitemap lastmod: when to update it and how to audit itLearn which page changes deserve a new XML sitemap lastmod date, how to catch fake timestamps at scale, and what Google actually does with the tag.
- URL parameters and SEO: which URLs should Google crawl and index?Audit tracking, sorting, session and filter parameters without blocking valuable pages. Learn when to use canonical tags, redirects, robots.txt or a clean URL.
- X-Robots-Tag: how to use the HTTP header for noindex and moreWhat the X-Robots-Tag header does, when to use it instead of a meta tag (PDFs, images, whole folders), the rules it supports, and how to find it on a site.
- Canonical tag errors: how to find and fix themCanonicals pointing to redirects, errors or noindex pages, multiple canonicals and missing ones. How to audit rel=canonical across a site and fix what's broken.
- Crawled - currently not indexed: why it happens and how to fix itWhat Crawled and Discovered - currently not indexed mean in Search Console, when they're a real problem, how to find the cause, and how to fix it at scale.
- Internal linking audit: click depth, weak pages and dead endsHow to audit internal links across a site: pages buried too deep, pages with one link, dead ends, internal nofollow and broken links.
- Noindex vs robots.txt: which to use, and the mistakes that hide pagesRobots.txt controls crawling; noindex controls indexing. How each works, why combining them backfires, and how to find pages hidden or exposed by mistake.
- Orphan pages: how to find them and what to do with themOrphan pages have no internal links pointing to them, so users and crawlers struggle to find them. How to find them with sitemaps, Search Console and logs.
- Robots.txt for SEO: syntax, examples and the mistakes that block sitesHow robots.txt works, how crawlers pick which rules apply, copy-ready examples, what happens when the file fails to load, and how to test it across a site.
- Soft 404 errors: what they are and how to fix themWhy Google reports pages that return 200 as soft 404s, the usual causes (empty pages, error messages, homepage redirects) and how to find and fix them.
- XML sitemap audit: what to check and how to fix itSitemaps full of redirects, errors and noindex pages lose Google's trust. How to audit XML sitemaps against a crawl and keep only indexable URLs.
Questions fréquentes
Quelle est la différence entre crawl et indexation ?
Le crawl, c'est le robot d'un moteur de recherche qui télécharge une page. L'indexation, c'est le moteur qui analyse cette page et l'enregistre pour pouvoir l'afficher dans les résultats. Une page peut être crawlée sans être indexée et, si elle est bloquée par le robots.txt mais liée depuis ailleurs, être indexée sans avoir été crawlée.
Combien de temps Google met-il à indexer une nouvelle page ?
Selon Google, le crawl peut prendre de quelques jours à quelques semaines. Un lien depuis des pages internes fortes, l'inscription au sitemap et une demande d'indexation dans l'outil d'inspection d'URL de la Search Console peuvent aider, mais rien ne garantit l'indexation.
Pourquoi ma page est-elle crawlée mais pas indexée ?
« Crawled - currently not indexed » signifie que Google a récupéré la page mais a décidé de ne pas l'indexer pour l'instant. Les raisons courantes sont le contenu dupliqué ou quasi dupliqué, les pages pauvres, ou les pages que Google ne juge pas assez utiles. Améliorez ou fusionnez la page ; selon Google, inutile de la soumettre à nouveau.
Un sitemap garantit-il l'indexation de mes pages ?
Non. Selon Google, un sitemap ne garantit pas que tous ses éléments seront crawlés et indexés. Il aide à la découverte, surtout sur les sites grands ou nouveaux, mais les pages doivent rester indexables et mériter l'indexation.
Le robots.txt peut-il tenir une page hors de Google ?
Pas de façon fiable. Le robots.txt arrête le crawl, pas l'indexation : une page bloquée peut rester indexée grâce aux liens qui pointent vers elle, sans son contenu. Pour tenir une page hors de l'index, laissez-la crawlable et ajoutez une directive noindex.