Votre premier crawl
De l’installation à une liste de problèmes priorisée en une dizaine de minutes. Vous allez crawler un site, lire son score de santé, ouvrir les problèmes qui comptent et exporter un rapport.
L’interface de Crawlens n’existe pour l’instant qu’en anglais. Les noms des boutons et des menus restent donc en anglais dans ce guide, pour que vous les retrouviez tout de suite dans l’application.
1. Installer Crawlens
Crawlens fonctionne sous Windows. Téléchargez le programme d’installation (113.7 MB) et lancez-le. Vous pouvez choisir le dossier d’installation pendant la configuration.
Si Windows SmartScreen affiche Windows a protégé votre ordinateur, cliquez sur Informations complémentaires, puis sur Exécuter quand même.
2. Choisir le dossier de données
Au premier lancement, Crawlens vous demande où enregistrer les projets et les données de crawl. Les gros sites peuvent occuper plusieurs Go : choisissez un disque avec assez d’espace.
- Gardez Default location (emplacement par défaut), ou utilisez Choose a folder pour choisir un dossier sur n’importe quel disque local ou externe (par exemple
D:\Crawlens). - Les lecteurs réseau ne sont pas pris en charge : la base de données peut être endommagée à travers une connexion réseau.
- Vous pourrez déplacer le dossier plus tard dans Settings → About → Data folder.
3. Créer un projet
Chaque site a son propre projet, qui regroupe ses crawls, ses problèmes et ses rapports.
- Dans Projects, cliquez sur New project.
- Saisissez la Website URL : la page d’accueil ou la section que vous voulez auditer. Les crawls partent de là par défaut.
- Donnez un Project name et cliquez sur Create project.
4. Lancer un crawl
Ouvrez le projet et cliquez sur Start crawl (ou appuyez sur Ctrl+N). Choisissez un Crawl mode :
| Mode | Ce qu’il fait | Pour quoi faire |
|---|---|---|
| Website | Part d’une URL et suit les liens internes | La plupart des audits ; trouve ce que les utilisateurs et les robots peuvent atteindre |
| Sitemap | Crawle les URL des sitemaps XML (index de sitemaps et .xml.gz pris en charge). Activez Also follow links pour trouver les pages absentes du sitemap | Vérifier la qualité du sitemap et trouver les pages orphelines |
| URL list | Crawle exactement les URL que vous collez ou importez (.txt, .csv, .xlsx) | Contrôler un lot de pages après une mise en production ou une migration |
Pour un premier crawl, gardez les valeurs par défaut : URL limit 100 000, sans profondeur maximale. Quelques réglages à connaître (les valeurs par défaut viennent de Settings) :
- Render JavaScript : à activer pour les sites React, Vue ou rendus côté client. Chaque page est chargée dans Chromium et comparée au HTML brut. Nettement plus lent.
- Check images (activé par défaut) et Check external links (désactivé par défaut) : après le crawl, chaque image interne ou chaque lien externe est récupéré pour repérer ceux qui sont cassés.
- Respect robots.txt : ignore les URL bloquées pour le user-agent choisi. Activé par défaut.
- Concurrent requests et Delay between requests : à réduire pour les serveurs petits ou fragiles.
- Advanced settings : Include only URLs matching / Exclude URLs matching (une expression régulière par ligne) et Crawl subdomains.
Cliquez sur Start crawl.
5. Suivre le crawl
Le panneau en direct affiche les URL crawlées et en attente, la vitesse en URL par seconde et la répartition par réponse : 2xx Success, 3xx Redirect, 4xx Client error, 5xx Server error, No response et Blocked by robots.txt.
- Pause et Resume à tout moment, ou Stop pour terminer en gardant ce qui a déjà été crawlé.
- Si Crawlens se ferme en plein crawl, le projet affichera Resume crawl la fois suivante. Le crawl reprend là où il s’était arrêté, sans récupérer à nouveau les pages déjà crawlées.
Une fois le crawl terminé, Crawlens lance l’audit automatiquement (Running audit…).
6. Lire l’audit
L’Overview du projet affiche le dernier crawl :
- Score de santé (0–100) : Good à partir de 90, Needs work de 70 à 89, Poor en dessous de 70. Il repose sur la part d’URL ayant des problèmes critiques et des avertissements ; voir comment il est calculé.
- Problèmes trouvés, répartis en critiques, avertissements et remarques.
- Top issues, les plus graves en premier. Commencez par les critiques.
Sous les problèmes, un récapitulatif indique combien de contrôles sont passés et combien étaient not available for this crawl. Cliquez sur Show why : certains des 70 contrôles ont besoin de données qu’un crawl simple ne collecte pas, comme le rendu JavaScript, la Search Console ou les logs serveur. La référence des règles d’audit indique ce dont chaque contrôle a besoin.
7. Explorer les problèmes et les URL
- Issues (Ctrl+2) : chaque contrôle échoué, avec la raison, la correction et les URL concernées.
- URLs (Ctrl+3) : chaque URL crawlée. Filtrez par statut, indexabilité, type ou problème, cherchez par URL ou par title, et choisissez les colonnes.
- Détails d’une URL : cliquez sur une ligne pour voir les champs SEO, les problèmes, les liens entrants et sortants, les redirections, les en-têtes et les données structurées. Les flèches du clavier passent d’une ligne à l’autre.
8. Exporter et partager
- Export report → Excel workbook (Ctrl+E) : un récapitulatif, toutes les URL et chaque problème avec ses URL concernées.
- Export report → PDF report : un rapport prêt pour le client, avec synthèse, progrès depuis le crawl précédent, problèmes et corrections, Core Web Vitals et méthodologie. Pour un rapport en marque blanche, ajoutez votre logo et vos couleurs dans Settings.
- Export CSV dans le tableau des URL ou sur un problème : exactement les lignes affichées.
Et ensuite
- Ajouter les données Google. Connectez Google dans Settings, puis récupérez les données Search Console et Analytics depuis la vue d’ensemble du projet. Vous verrez quels problèmes touchent des pages qui reçoivent du trafic.
- Mesurer les Core Web Vitals. Ajoutez une clé API PageSpeed Insights dans Settings, puis utilisez Measure Core Web Vitals dans la vue d’ensemble.
- Importer des logs serveur dans la page Log files pour voir ce que Googlebot crawle vraiment. Pour aller plus loin : l’analyse de logs pour le SEO (en anglais).
- Planifier des crawls dans Schedule & alerts et recevoir un e-mail quand le score de santé baisse.
- Comparer des crawls après la mise en ligne des corrections, pour voir ce qui s’est amélioré et ce qui s’est dégradé.
- Interroger votre assistant IA : connecter Claude, Codex, Cursor ou VS Code.
Raccourcis clavier
| Touches | Action |
|---|---|
| Ctrl+N | Nouveau crawl |
| Ctrl+E | Exporter le rapport |
| Ctrl+F | Rechercher dans la page |
| Ctrl+1 … 8 | Passer de Overview à Issues, URLs, Compare, Crawl history, Extraction & rules, Schedule & alerts et Log files |
| Ctrl+, | Settings |
| ? | Afficher tous les raccourcis |
Prêt à crawler ?
Gratuit pour Windows. Jusqu’à 100 000 URL par crawl.