Ihr erster Crawl
Von der Installation bis zur priorisierten Liste von Problemen in etwa zehn Minuten. Sie crawlen eine Website, lesen ihren Health Score, öffnen die wichtigen Probleme und exportieren einen Report.
Die Oberfläche von Crawlens gibt es derzeit nur auf Englisch. Namen von Buttons und Menüs stehen in dieser Anleitung deshalb auf Englisch, damit Sie sie in der App sofort finden.
1. Crawlens installieren
Crawlens läuft unter Windows. Laden Sie das Installationsprogramm (113.7 MB) herunter und führen Sie es aus. Den Installationsordner können Sie während der Einrichtung wählen.
Wenn Windows SmartScreen Der Computer wurde durch Windows geschützt anzeigt, wählen Sie Weitere Informationen und dann Trotzdem ausführen.
2. Datenordner wählen
Beim ersten Start fragt Crawlens, wo Projekte und Crawl-Daten gespeichert werden sollen. Große Websites können mehrere GB erzeugen, wählen Sie also ein Laufwerk mit ausreichend Platz.
- Behalten Sie Default location (Standardort) bei, oder wählen Sie mit Choose a folder einen Ordner auf einem beliebigen lokalen oder externen Laufwerk (zum Beispiel
D:\Crawlens). - Netzlaufwerke werden nicht unterstützt: Über eine Netzwerkverbindung kann die Datenbank beschädigt werden.
- Später verschieben Sie den Ordner unter Settings → About → Data folder.
3. Projekt anlegen
Jede Website bekommt ein eigenes Projekt, in dem ihre Crawls, Probleme und Reports zusammenbleiben.
- Klicken Sie unter Projects auf New project.
- Geben Sie die Website URL ein: die Startseite oder den Bereich, den Sie auditieren möchten. Crawls beginnen standardmäßig hier.
- Vergeben Sie einen Project name und klicken Sie auf Create project.
4. Crawl starten
Öffnen Sie das Projekt und klicken Sie auf Start crawl (oder drücken Sie Strg+N). Wählen Sie einen Crawl mode:
| Modus | Was er tut | Wofür |
|---|---|---|
| Website | Beginnt bei einer URL und folgt internen Links | Die meisten Audits; findet, was Nutzer und Crawler erreichen können |
| Sitemap | Crawlt die URLs aus XML-Sitemaps (Sitemap-Indizes und .xml.gz werden unterstützt). Mit Also follow links finden Sie Seiten, die in der Sitemap fehlen | Qualität der Sitemap prüfen und verwaiste Seiten finden |
| URL list | Crawlt genau die URLs, die Sie einfügen oder importieren (.txt, .csv, .xlsx) | Eine Gruppe von Seiten nach einem Release oder einer Migration prüfen |
Behalten Sie beim ersten Crawl die Standardwerte: URL limit 100.000, keine maximale Tiefe. Einige Einstellungen, die Sie kennen sollten (die Standardwerte stammen aus Settings):
- Render JavaScript: für React, Vue oder andere clientseitig gerenderte Websites einschalten. Jede Seite wird in Chromium geladen und mit dem Roh-HTML verglichen. Deutlich langsamer.
- Check images (standardmäßig an) und Check external links (standardmäßig aus): Nach dem Crawl wird jedes interne Bild bzw. jeder externe Link abgerufen, um defekte zu finden.
- Respect robots.txt: überspringt URLs, die für den gewählten User-Agent gesperrt sind. Standardmäßig an.
- Concurrent requests und Delay between requests: für kleine oder empfindliche Server senken.
- Advanced settings: Include only URLs matching / Exclude URLs matching (ein regulärer Ausdruck pro Zeile) und Crawl subdomains.
Klicken Sie auf Start crawl.
5. Crawl verfolgen
Das Live-Panel zeigt gecrawlte und wartende URLs, die Geschwindigkeit in URLs pro Sekunde und eine Aufschlüsselung nach Antwort: 2xx Success, 3xx Redirect, 4xx Client error, 5xx Server error, No response und Blocked by robots.txt.
- Mit Pause und Resume jederzeit unterbrechen und fortsetzen, oder mit Stop beenden und das bisher Gecrawlte behalten.
- Wird Crawlens mitten im Crawl geschlossen, zeigt das Projekt beim nächsten Mal Resume crawl. Der Crawl macht dort weiter, wo er aufgehört hat; bereits gecrawlte Seiten werden nicht erneut abgerufen.
Ist der Crawl fertig, führt Crawlens das Audit automatisch aus (Running audit…).
6. Audit lesen
Die Overview des Projekts zeigt den letzten Crawl:
- Health Score (0–100): Good ab 90, Needs work bei 70–89, Poor unter 70. Er beruht auf dem Anteil der URLs mit kritischen Problemen und Warnungen; siehe wie er berechnet wird.
- Gefundene Probleme, aufgeteilt in kritisch, Warnungen und Hinweise.
- Top issues, die schwersten zuerst. Beginnen Sie mit den kritischen.
Unter den Problemen zeigt eine Zusammenfassung, wie viele Checks bestanden wurden und wie viele not available for this crawl waren. Klicken Sie auf Show why: Einige der 70 Checks brauchen Daten, die ein einfacher Crawl nicht erhebt, etwa JavaScript-Rendering, Search Console oder Server-Logs. Die Referenz der Audit-Regeln zeigt, was jeder Check braucht.
7. Probleme und URLs untersuchen
- Issues (Strg+2): jeder fehlgeschlagene Check mit Begründung, Lösung und betroffenen URLs.
- URLs (Strg+3): jede gecrawlte URL. Nach Status, Indexierbarkeit, Typ oder Problem filtern, nach URL oder Title suchen und Spalten auswählen.
- URL-Details: Klicken Sie auf eine Zeile, um SEO-Felder, Probleme, eingehende und ausgehende Links, Weiterleitungen, Header und strukturierte Daten zu sehen. Mit den Pfeiltasten wechseln Sie zwischen den Zeilen.
8. Exportieren und teilen
- Export report → Excel workbook (Strg+E): eine Zusammenfassung, alle URLs und jedes Problem mit den betroffenen URLs.
- Export report → PDF report: ein kundenfertiger Report mit Management-Zusammenfassung, Fortschritt seit dem letzten Crawl, Problemen und deren Lösung, Core Web Vitals und Methodik. Für White-Label-Reports fügen Sie unter Settings Ihr Logo und Ihre Farben hinzu.
- Export CSV in der URL-Tabelle oder bei einem Problem: genau die Zeilen, die Sie gerade sehen.
Nächste Schritte
- Google-Daten hinzufügen. Verbinden Sie Google unter Settings und rufen Sie dann in der Projektübersicht Daten aus Search Console und Analytics ab. So sehen Sie, welche Probleme Seiten mit Traffic betreffen.
- Core Web Vitals messen. Hinterlegen Sie unter Settings einen API-Schlüssel für PageSpeed Insights und nutzen Sie dann Measure Core Web Vitals in der Übersicht.
- Server-Logs importieren auf der Seite Log files, um zu sehen, was der Googlebot wirklich crawlt. Mehr dazu in Logfile-Analyse für SEO (auf Englisch).
- Crawls planen unter Schedule & alerts und eine E-Mail erhalten, wenn der Health Score sinkt.
- Crawls vergleichen, nachdem Fixes live sind, um zu sehen, was besser und was schlechter wurde.
- Ihren KI-Assistenten fragen: Claude, Codex, Cursor oder VS Code verbinden.
Tastenkürzel
| Tasten | Aktion |
|---|---|
| Strg+N | Neuer Crawl |
| Strg+E | Report exportieren |
| Strg+F | Auf dieser Seite suchen |
| Strg+1 … 8 | Wechseln zwischen Overview, Issues, URLs, Compare, Crawl history, Extraction & rules, Schedule & alerts und Log files |
| Strg+, | Settings |
| ? | Alle Tastenkürzel anzeigen |
Bereit zum Crawlen?
Kostenlos für Windows. Bis zu 100.000 URLs pro Crawl.