Crawl et indexabilité
Codes de statut, redirections, canonicals, noindex, robots.txt et sitemaps XML, pour que les pages que vous voulez faire trouver puissent être crawlées et indexées.
Service d’audit SEO technique
Découvrez si les moteurs de recherche et les moteurs de réponse IA peuvent atteindre, lire et citer vos pages importantes. Nous crawlons tout le site, vérifions les règles d’accès que les audits classiques ignorent, et vous remettons une liste courte et sourcée de ce qu’il faut corriger en premier.
La taille du site, l’accès aux données et la profondeur de chaque domaine sont convenus avant le début de l’audit.
Vue de travail
Audit de préparation à la recherche et à l’IA
Ce que couvre l’audit
Six domaines, contrôlés dans l’ordre où les problèmes bloquent le plus souvent la visibilité. Nous les pondérons selon votre site : une boutique très JavaScript et un site de documentation échouent à des endroits différents.
Codes de statut, redirections, canonicals, noindex, robots.txt et sitemaps XML, pour que les pages que vous voulez faire trouver puissent être crawlées et indexées.
Quels robots IA de recherche, d’entraînement et déclenchés par l’utilisateur votre robots.txt, votre CDN et votre pare-feu laissent passer, comparé à la politique que vous voulez vraiment.
Comparer le HTML brut à la page rendue pour trouver les contenus, liens et balises SEO qui n’existent qu’après l’exécution des scripts.
Repérer les règles nosnippet, max-snippet ou data-nosnippet qui limitent la citation par accident, et le balisage qui ne correspond pas à la page visible.
Vérifier que les pages importantes répondent à leur question dans le texte visible, avec des titres clairs, des responsables identifiés et des sources qu’un moteur peut attribuer.
Intégrer les données terrain des Core Web Vitals, la Search Console et les logs serveur quand vous pouvez les partager, pour confirmer ce que reçoivent vraiment les robots et les utilisateurs.
La checklist complète
Ce que l’audit examine dans chaque domaine, et d’où viennent les preuves. Les domaines qui ne concernent pas votre site, comme le hreflang sur un site monolingue, sont ignorés.
| Contrôle | Ce que nous cherchons | Preuves |
|---|---|---|
| robots.txt par user-agent | Les robots de recherche (Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot, PerplexityBot) et les tokens d’entraînement (GPTBot, ClaudeBot, Google-Extended) sont autorisés ou bloqués comme vous l’entendez. | Revue manuelle |
| Règles du CDN et du pare-feu | Des réglages de gestion des bots ou de WAF qui mettent les robots au défi ou les bloquent avant même la lecture du robots.txt. | Revue manuelleTest en direct |
| Pages liées bloquées par le robots.txt | Des pages vers lesquelles pointent vos propres liens mais que les robots n’ont pas le droit de récupérer. | Crawl |
| Activité des robots dans les logs | Quels robots demandent quelles URL, et les codes de statut qu’ils reçoivent réellement. | Logs serveur |
| Pages ignorées par Googlebot | Des pages indexables que Googlebot n’a pas demandées pendant la période des logs. | Logs serveur |
| Contrôle | Ce que nous cherchons | Preuves |
|---|---|---|
| Pages en noindex | Un noindex sur des pages qui devraient se classer, et des pages indexables qui ne devraient pas l’être. | Crawl |
| Balises canonical | Canonicals absents ou multiples, et canonicals qui pointent vers des URL en erreur, redirigées ou en noindex. | Crawl |
| Pages canonicalisées | Des pages qui désignent une autre URL comme canonique, et si ce choix est le bon. | Crawl |
| URL non indexables dans les sitemaps | Des URL redirigées, en noindex ou en erreur listées dans les sitemaps XML. | Crawl |
| Trafic de recherche sur des pages non indexables | Des pages qui obtiennent des impressions ou des clics mais sont désormais en noindex, canonicalisées ou en erreur. | Search Console |
| Contrôle | Ce que nous cherchons | Preuves |
|---|---|---|
| Erreurs client et serveur | Des pages internes qui renvoient 4xx ou 5xx, et des pages qui ne répondent pas. | Crawl |
| Chaînes et boucles de redirection | Des chaînes de deux étapes ou plus, des boucles et des redirections temporaires (302/303/307) qui devraient être permanentes. | Crawl |
| Liens vers des redirections et des URL cassées | Des liens internes qui devraient pointer directement vers l’URL finale. | Crawl |
| HTTPS | Des pages servies en HTTP, des versions HTTP qui ne redirigent pas vers HTTPS, et du contenu mixte. | Crawl |
| Erreurs sur des pages avec du trafic | Des pages d’entrée qui reçoivent des visites de la recherche ou d’Analytics et renvoient désormais une erreur. | Search ConsoleAnalytics |
| Contrôle | Ce que nous cherchons | Preuves |
|---|---|---|
| Profondeur de clic | Des pages importantes à plus de quatre clics de l’URL de départ. | Crawl |
| Pages orphelines et peu liées | Des pages du sitemap vers lesquelles rien ne pointe, des pages avec un seul lien interne, et des pages sans lien interne sortant. | Crawl |
| Nofollow interne | Des liens internes en nofollow qui freinent la découverte. | Crawl |
| Sitemaps XML | Des sitemaps illisibles, et des pages importantes qui en sont absentes. | Crawl |
| URL manquées par le crawl | Des URL avec des impressions, des visites de Googlebot ou d’Analytics que le crawl des liens n’a pas trouvées. | Search ConsoleLogs serveurAnalytics |
| Contrôle | Ce que nous cherchons | Preuves |
|---|---|---|
| Contenu dépendant de JavaScript | Un texte principal qui n’apparaît qu’après l’exécution des scripts, et que la plupart des robots IA ne verront pas. | Crawl avec rendu |
| Liens présents seulement dans le HTML rendu | Une navigation et des liens internes absents du HTML brut. | Crawl avec rendu |
| JavaScript qui modifie les balises SEO | Des titles, canonicals ou balises meta robots différents entre HTML brut et HTML rendu. | Crawl avec rendu |
| Échecs de rendu | Des pages qui ne parviennent pas à s’afficher dans un navigateur. | Crawl avec rendu |
| Ce que reçoit un robot sans rendu | Le HTML brut de chaque gabarit clé, lu comme le lit un robot IA sans navigateur. | Revue manuelle |
| Contrôle | Ce que nous cherchons | Preuves |
|---|---|---|
| Titles et meta descriptions | Titles absents, en double, trop longs ou trop courts ; descriptions absentes, en double ou mal dimensionnées. | Crawl |
| Titres | H1 absents ou multiples, et si le plan des titres correspond aux questions auxquelles la page répond. | CrawlRevue manuelle |
| Contenu dupliqué et pauvre | Des pages identiques ou quasi identiques, et des pages de moins de 200 mots qui ne tiennent peut-être pas seules. | Crawl |
| Réponses dans le texte visible | Les questions clés reçoivent une réponse claire près du haut de la page, avec sources, responsables et auteurs quand c’est important. | Revue manuelle |
| Images | Textes alternatifs manquants et images cassées. | Crawl |
| Contrôle | Ce que nous cherchons | Preuves |
|---|---|---|
| Validité du JSON-LD | JSON-LD invalide et données structurées sans les propriétés obligatoires. | Crawl |
| Balisage fidèle à la page | Les données structurées décrivent le contenu visible et un usage pris en charge, sans balisage générique ni balisage « pour l’IA ». | Revue manuelle |
| Contrôle des extraits | Des règles nosnippet, max-snippet et data-nosnippet qui limitent la citation par accident. | Revue manuelle |
| Cohérence des entités | Les informations sur l’organisation, les produits et les auteurs concordent entre les pages et le balisage. | Revue manuelle |
| Contrôle | Ce que nous cherchons | Preuves |
|---|---|---|
| Core Web Vitals terrain | LCP, INP et CLS mauvais ou à améliorer pour les utilisateurs réels. | PageSpeed Insights |
| Performance en laboratoire | Des scores de performance Lighthouse faibles sur les gabarits clés. | PageSpeed Insights |
| Réponse du serveur | Des réponses plus lentes qu’une seconde, et du HTML de plus de 2 Mo. | Crawl |
| Contrôle | Ce que nous cherchons | Preuves |
|---|---|---|
| Codes hreflang | Des codes de langue ou de région invalides. | Crawl |
| Liens hreflang | Liens de retour, autoréférences et x-default manquants. | Crawl |
| Cibles hreflang | Des alternatives qui pointent vers des URL non indexables. | Crawl |
| Contrôle | Ce que nous cherchons | Preuves |
|---|---|---|
| Pages proches de la première page | Des requêtes en positions 11 à 20, où une correction peut faire remonter la page. | Search Console |
| Taux de clic faible | Des pages dont le CTR est plus bas que ce que leur position laisserait attendre. | Search Console |
| Pages indexables sans impressions | Des pages que les moteurs peuvent indexer mais n’affichent pas. | Search Console |
| Contrôle | Ce que nous cherchons | Preuves |
|---|---|---|
| Fonctionnalités IA de Google dans la Search Console | Le site n’est pas exclu par accident des AI Overviews et du mode IA, et quelles pages obtiennent des impressions dans le rapport sur les performances de l’IA générative. | Search Console |
| Citations dans Copilot et Bing IA | Citations, pages citées et requêtes d’ancrage dans le rapport AI Performance de Bing Webmaster Tools. | Bing Webmaster Tools |
| Échantillon de réponses IA | Un ensemble convenu de vraies questions posées au mode IA de Google, à ChatGPT search et à Perplexity : êtes-vous cité, et qui l’est à votre place. | Revue manuelle |
| Trafic venu de l’IA | Les visites issues des assistants IA sont visibles et séparées des autres sites référents dans vos analytics. | Analytics |
| Passages autonomes | Chaque section clé garde son sens citée seule : elle donne la réponse et son contexte sans s’appuyer sur le paragraphe précédent. | Revue manuelle |
| Preuves citables | Des données originales, des sources nommées et un auteur clairement identifié qui donnent à un moteur une raison de citer cette page plutôt qu’une autre. | Revue manuelle |
| Signaux de fraîcheur | Les dates de mise à jour visibles concordent avec dateModified et le lastmod du sitemap, et les pages modifiées sont signalées via IndexNow si vous l’utilisez. | Revue manuelle |
| llms.txt | S’il vaut la peine d’en avoir un. La recherche Google ne l’utilise pas ; il peut aider la documentation et les outils pour développeurs utilisés avec des agents IA. | Revue manuelle |
Les contrôles Crawl et Crawl avec rendu s’appuient sur les règles d’audit de Crawlens. Les contrôles Search Console, Bing Webmaster Tools, analytics, PageSpeed Insights et logs ne sont faits qu’avec les accès que vous choisissez de partager. La revue manuelle est faite par une personne. Les réponses IA changent d’une exécution à l’autre : chaque réponse échantillonnée est enregistrée avec sa date, l’outil et la question exacte. Rapports utilisés : le rapport sur les performances de l’IA générative de Google et le rapport AI Performance de Bing (en anglais).
Préparation à la recherche IA
Les réponses IA sont construites à partir de pages qu’un système a pu crawler et lire. Google indique que ses fonctionnalités IA ne demandent aucune optimisation particulière au-delà de l’indexation et de l’éligibilité à un extrait. Les autres moteurs de réponse utilisent leurs propres robots, souvent sans JavaScript, et chacun peut être autorisé ou bloqué séparément.
C’est à cela que se résument en pratique l’Answer Engine Optimization (AEO) et la Generative Engine Optimization (GEO) : des pages que les systèmes d’IA peuvent atteindre, lire, citer et attribuer. L’audit vérifie ces bases, puis échantillonne de vraies réponses IA sur vos sujets pour voir qui est cité aujourd’hui.
Lire les recommandations de Google sur les fonctionnalités IA
Ce que nous vérifions en plus d’un audit classique
Notre méthode complète est publique dans la checklist de préparation à la recherche IA (en anglais). Nous vérifions l’accès et la lisibilité ; personne ne peut garantir une citation par l’IA.
Déroulement d’un audit
Un long export de problèmes n’est pas un audit. La partie utile consiste à décider quels constats comptent pour ce site et qui doit agir.
Confirmer les objectifs, les sections du site qui comptent le plus, votre politique vis-à-vis des robots IA et les sources de données que vous pouvez partager.
Crawler le site avec Crawlens, vérifier le rendu et les règles d’accès, et confronter les constats aux données de la Search Console et des logs.
Classer les corrections par impact et par effort, joindre les URL concernées et les preuves, et les parcourir avec les personnes qui feront les changements.
Ce que vous recevez
Les livrables précis sont fixés dans le périmètre. Chaque constat est accompagné des pages concernées, de la raison pour laquelle il compte et d’une correction suggérée : rien ne repose sur la confiance accordée à un score.
Livrables habituels de l’audit
Vous préférez lancer le crawl vous-même ? Crawlens est gratuit, et le guide de l’audit SEO technique (en anglais) détaille la démarche. Pour un accompagnement après l’audit, voir le SEO en continu.
Avant de commencer
Une question sur votre site ? Contactez-nous.
C’est un audit SEO technique qui vérifie aussi si les systèmes de recherche IA peuvent crawler, lire et citer vos pages. Au-delà de l’indexabilité, du rendu et de la structure du site, il examine l’accès des robots IA dans le robots.txt, le CDN et le pare-feu, ainsi que le contrôle des extraits qui limite la citation.
Oui, au sens pratique. AEO et GEO désignent le fait de rendre un contenu facile à trouver, à lire et à citer pour les moteurs de réponse. L’audit couvre ces bases techniques, échantillonne de vraies réponses IA sur vos sujets et évalue si les pages clés méritent d’être citées, sans tactiques à l’effet non documenté comme le balisage réservé à l’IA.
L’application gratuite trouve les problèmes techniques sur tout le site. L’audit ajoute ce qu’un crawler ne peut pas trancher : quels constats comptent pour vos objectifs, quelle politique adopter vis-à-vis des robots IA, des contrôles au niveau du CDN et du pare-feu, et un plan priorisé que votre équipe peut suivre.
Un crawl ne demande que vos URL publiques. Un accès en lecture à la Search Console et à vos analytics, et les logs serveur si vous pouvez les exporter, rendent les constats bien plus fiables. Nous convenons des accès avant le début de l’audit.
Aucun audit ne peut le garantir. Ce sont les moteurs de recherche et les systèmes d’IA qui choisissent les sources à afficher. L’audit supprime les raisons techniques pour lesquelles une page ne peut pas être crawlée, lue ou citée, c’est-à-dire la partie que vous maîtrisez.
L’audit se termine par un plan priorisé et une séance de présentation. Votre équipe peut le mettre en œuvre, ou nous pouvons convenir d’un accompagnement dans la durée via le SEO en continu.
Commencer par votre site
Envoyez-nous votre site, les sections qui comptent le plus et les changements récents. Nous vous proposerons un périmètre d’audit avant tout travail.
Demander un audit