Verlinkte Leitfäden öffnen sich auf Englisch, bis sie übersetzt sind.
Jede Seite mit Ranking durchlief dieselbe Pipeline: Eine Suchmaschine entdeckte ihre URL, rief sie ab, renderte sie, befand sie für behaltenswert und speicherte sie in ihrem Index. Ein Fehler an einem beliebigen Schritt hält die Seite von den Ergebnissen fern, und die meisten Fehler machen keinen Lärm. Die Seite ist einfach nie da.
Dieser Leitfaden erklärt jeden Schritt, was ihn blockiert, wie Sie die Berichte lesen, die Google Ihnen gibt, und wie Sie Crawling und Indexierung auf einer ganzen Website auditieren. Jeder Abschnitt verlinkt auf einen ausführlichen Leitfaden.
Was ist der Unterschied zwischen Crawling und Indexierung?
Crawling ist, wenn eine Suchmaschine Ihre Seite herunterlädt; Indexierung ist, wenn die Suchmaschine diese Seite analysiert und speichert, damit sie in Ergebnissen erscheinen kann. Google beschreibt Crawling als den Moment, in dem „Google Text, Bilder und Videos von im Internet gefundenen Seiten mit automatischen Programmen herunterlädt – diese werden Crawler genannt”, gefolgt von der Indexierung, in der es die Inhalte analysiert und ermittelt, welche URL die kanonische ist (Funktionsweise der Google-Suche).
Beides kann auseinanderfallen:
- Gecrawlt, nicht indexiert: Google hat die Seite abgerufen und entschieden, sie nicht zu behalten – eine Indexierung ist nicht garantiert.
- Indexiert, nicht gecrawlt: Eine per robots.txt gesperrte Seite kann weiter über Links auf sie indexiert sein, ohne ihren Inhalt.
Wie kommt eine Seite von Ihrem Server in den Index?
| Phase | Was passiert | Was es blockiert |
|---|---|---|
| Auffinden | Die Suchmaschine erfährt, dass die URL existiert, über Links, Sitemaps oder Einreichungen | Keine internen Links, Fehlen in Sitemaps, nur per JavaScript hinzugefügte Links |
| Crawling | Der Crawler fragt die URL an | robots.txt-Disallow, Server-Fehler, Timeouts, Bot-Schutz |
| Rendering | Die Seite läuft in einem Browser, damit Skripte Inhalte ergänzen können | Skripte, die scheitern, in Timeouts laufen oder Nutzerinteraktion brauchen |
| Indexierung | Der Inhalt wird analysiert und gespeichert, und eine kanonische URL gewählt | Nicht-200-Status, noindex, Canonical auf eine andere URL, doppelte oder minderwertige Inhalte |
| Ausspielung | Indexierte Seiten werden für Suchanfragen gerankt | Alles andere in SEO |
Googles eigene technische Voraussetzungen kochen die ersten vier Phasen auf drei Bedingungen herunter: „Der Googlebot wird nicht blockiert”, „die Seite funktioniert, das heißt, Google erhält den HTTP-Statuscode 200 (success)” und „auf der Seite sind indexierbare Inhalte zu finden”.
Wie entdecken Suchmaschinen Seiten?
Meist über Links. Ein Crawler, der auf Ihrer Startseite startet und Links folgt, erreicht jede verlinkte Seite – und nichts, was nicht verlinkt ist. Das macht interne Verlinkung zum Haupthebel, den Sie kontrollieren:
- Verwaiste Seiten ohne interne Links hängen ganz an Sitemaps oder externen Links. Siehe verwaiste Seiten.
- Tiefe Seiten, viele Klicks von der Startseite entfernt, werden seltener gecrawlt. Siehe das Audit der internen Verlinkung.
- Nur per JavaScript hinzugefügte Links werden von Google später gefunden und von Crawlern ohne Rendering gar nicht. Siehe den JavaScript-SEO-Leitfaden für Rendering und Auffinden sowie den Vergleich von Roh- und gerendertem HTML für den Vergleich.
Bei Single-Page-Apps hängt das Auffinden auch von echten Links und URLs ab, die beim frischen Laden funktionieren. Der Leitfaden zu SPA-Navigation und SEO behandelt clientseitiges Routing, History-API-Änderungen und Deep-Link-Prüfungen.
Inhalte, die erst nach Scrollen oder Klicken erscheinen, können ebenfalls übersehen werden. Der Leitfaden zu Lazy Loading und SEO erklärt, wie Bilder, tiefere Produkte und Infinite-Scroll-Seiten auffindbar bleiben.
XML-Sitemaps sind der zweite Kanal. Laut Google helfen sie am meisten auf großen Websites, neuen Websites mit wenigen externen Links und Websites mit vielen Medien, wobei gilt: „Wir können jedoch nicht garantieren, dass alle Elemente in deiner Sitemap gecrawlt und indexiert werden” (Sitemap-Überblick). Eine Sitemap voller Weiterleitungen, Fehler und noindex-URLs ist schlimmer als eine kurze, genaue. Siehe das Audit der XML-Sitemap.
Wenn der Bestand eine Datei übersteigt, zeigt der Leitfaden zu Sitemap-Index und SEO, wie Sie ihn in gültige Kind-Sitemaps aufteilen und jede Gruppe überwachen.
Innerhalb jeder Datei erklärt der Sitemap-lastmod-Leitfaden, wann sich das Änderungsdatum einer Seite ändern sollte und wie Sie Generatoren erwischen, die jede URL mit dem Build-Datum stempeln.
Was hindert eine Seite am Crawling?
| Ursache | Wie es sich zeigt | Crawlens-Prüfung |
|---|---|---|
| robots.txt verbietet die URL | Per robots.txt gesperrt | Linked pages blocked by robots.txt |
| Server-Fehler | 5xx-Antworten; Google drosselt das Crawling | Internal pages return 5xx |
| Timeouts, DNS- oder SSL-Fehler | Keine Antwort | Pages did not respond |
| Firewall oder Bot-Schutz | 403 oder Challenge-Seiten nur für Crawler | Pages PageSpeed Insights could not test deutet oft darauf hin |
| Nirgendwo verlinkt | Durch Folgen von Links nie gefunden | Orphan pages |
| Zu tief | Selten gecrawlt | Pages more than 4 clicks from the start |
| Links erst nach Rendering | Spät oder nie gefunden | Links only in rendered HTML |
| Langsame Antworten | Weniger Seiten pro Besuch gecrawlt | Slow server response (over 1 second) |
Was hindert eine Seite an der Indexierung?
| Ursache | Was zu prüfen ist | Crawlens-Prüfung |
|---|---|---|
noindex im Meta-Tag oder X-Robots-Tag-Header |
Absicht oder Rest aus dem Staging? | Noindex pages |
| Canonical zeigt auf eine andere URL | Ist die andere URL die richtige und indexierbar? | Canonicalised pages, Canonical points to a non-200 URL, to a noindex page |
| Statuscode ist nicht 200 | 4xx, 5xx oder Weiterleitung | Internal pages return 4xx |
| Duplikat einer anderen Seite | Google wählt eine URL und verwirft die anderen | Duplicate content |
| Zu wenig Inhalt | Kaum Grund, sie zu indexieren | Thin content (under 200 words) |
| Inhalt erst nach JavaScript | Indexierung ist langsamer und scheitert, wenn Rendering scheitert | Content depends on JavaScript |
Die ausführlichen Leitfäden: noindex vs. robots.txt, X-Robots-Tag, HTTP-Statuscodes, Fehler beim Canonical-Tag, Duplicate Content finden, Thin Content und Soft-404-Fehler.
Welche Steuerungen wirken auf Crawling, welche auf Indexierung?
Sie zu verwechseln verursacht mehr Indexierungsprobleme als alles andere.
| Steuerung | Wirkt auf Crawling | Wirkt auf Indexierung | Wofür |
|---|---|---|---|
robots.txt-Disallow |
Ja | Nein (gesperrte URLs können weiter über Links indexiert sein) | Crawler aus Bereichen ohne Suchwert heraushalten: Warenkörbe, interne Suche, endlose Filter |
noindex (Meta oder Header) |
Nein | Ja | Eine Seite aus den Ergebnissen halten. Die Seite muss crawlbar bleiben, damit die Anweisung gesehen wird |
rel="canonical" |
Nein | Hinweis | Sagen, welche von mehreren ähnlichen URLs indexiert werden soll |
| 301-/308-Weiterleitung | Bewegt den Crawler | Bewegt Signale zum Ziel | Eine URL stilllegen oder umziehen |
| 404 / 410 | Wird mit der Zeit seltener gecrawlt | Wird aus dem Index entfernt | Eine Seite ohne Ersatz entfernen |
nofollow an internen Links |
Hält das Linksignal zurück | Nein | Intern selten nötig |
| XML-Sitemap | Hilft beim Auffinden | Nein | Die kanonischen, indexierbaren URLs listen, die gefunden werden sollen |
Der klassische Fehler ist, eine Seite per robots.txt zu sperren, um sie aus Google zu entfernen: Der Crawler kann das noindex nicht mehr sehen, also bleibt die URL möglicherweise indexiert. Noindex vs. robots.txt behandelt das im Detail, und robots.txt für SEO behandelt die Syntax und wie Crawler wählen, welche Regeln gelten. Ob eine einzelne URL laut Live-Datei für Googlebot und die wichtigsten AI-Crawler erlaubt ist, zeigt der kostenlose Robots.txt-Tester.
Der Leitfaden zur Google Indexing API erklärt, warum API-Meldungen auf geeignete Job- und Livestream-Seiten beschränkt sind und kein Ersatz für Links und Sitemaps auf gewöhnlichen Websites.
Wenn Abfrageparameter mehrere Versionen einer Seite erzeugen, wählen Sie die Steuerung danach, was jede Version ändert. Der Leitfaden zu URL-Parametern und SEO geht Tracking, Sortierung, Paginierung und Filter durch, ohne nützliche Seiten aus Versehen zu sperren.
Ist Crawl-Budget für Ihre Website relevant?
Wahrscheinlich nicht, außer die Website ist groß. Googles Crawl-Budget-Leitfaden ist geschrieben für „große Websites (über 1 Million einzelne Seiten), deren Inhalt sich häufig (einmal pro Woche) ändert oder mittelgroße Websites (mehr als 10.000 einzelne Seiten) mit Inhalten, die sich sehr schnell (täglich) ändern” und Websites, bei denen ein Großteil ihrer gesamten URLs von der Search Console als „Gefunden – zurzeit nicht indexiert” klassifiziert wurde. Für alle anderen ist der Leitfaden laut Google nicht nötig.
Wo es zählt, lautet der Rat, keine Crawls zu verschwenden: URLs, die nicht gecrawlt werden sollten, per robots.txt sperren, „gib den Statuscode 404 oder 410 für dauerhaft entfernte Seiten zurück”, Soft 404s beheben, „halte deine Sitemaps auf dem neuesten Stand”, „vermeide lange Weiterleitungsketten” und Seiten schnell laden lassen.
Der einzige Weg zu sehen, wofür Crawl-Budget tatsächlich ausgegeben wird, sind Server-Logs: welche URLs Googlebot anfragt, wie oft und was er zurückbekommt. Siehe Logfile-Analyse und Crawl-Budget für Details; das Framework für technisches Enterprise-SEO verbindet diese Befunde mit großen URL-Beständen und Release-Abläufen.
Für einen schnelleren Blick auf Anfragentrends, Host-Verfügbarkeit, Antwortcodes und Googlebot-Typen lesen Sie den Search-Console-Bericht zu Crawling-Statistiken. Er zeigt Muster und Beispiel-URLs; für eine vollständige pfadgenaue Anfragehistorie braucht es weiter Logs.
Wie lesen Sie den Search-Console-Bericht zur Seitenindexierung?
Der Bericht zur Seitenindexierung erklärt, warum Google jede bekannte URL nicht indexiert hat. Die Status, die Sie am häufigsten sehen:
| Status | Was Google sagt | Was zu tun ist |
|---|---|---|
| Discovered - currently not indexed | „Die Seite wurde von Google gefunden, aber noch nicht gecrawlt. Wird diese Begründung angegeben, hat Google normalerweise versucht, die URL zu crawlen, aber das hätte die Website überlastet. Daher hat Google das Crawling neu geplant. Aus diesem Grund ist das Feld mit dem letzten Crawling-Datum im Bericht leer.” | Server-Geschwindigkeit und Fehler prüfen; interne Links auf die Seiten stärken |
| Crawled - currently not indexed | „Die Seite wurde von Google gecrawlt, aber nicht indexiert. Sie könnte jedoch in Zukunft indexiert werden. Sie brauchen diese URL nicht noch einmal zum Crawling einzureichen.” | Dünne und doppelte Seiten verbessern, bündeln oder entfernen |
| Duplicate without user-selected canonical | „Diese Seite ist ein Duplikat einer anderen Seite, enthält jedoch keine Angabe einer bevorzugten kanonischen Seite. Google hat die andere Seite als kanonische Seite für diese Seite ausgewählt und zeigt diese daher nicht in der Google Suche an.” | Canonicals ergänzen oder die Duplikate bündeln |
| Alternate page with proper canonical tag | „Diese Seite ist als Alternative einer anderen Seite gekennzeichnet, d. h. als AMP-Seite mit einer kanonischen Desktopversion, als mobile Version einer kanonischen Desktopversion oder als Desktopversion einer kanonischen mobilen Version. Die Seite verweist korrekt auf die indexierte kanonische Seite. Sie müssen nichts weiter unternehmen.” | Nichts, wenn das Canonical beabsichtigt ist |
| URL marked ‘noindex’ | „Google ist beim Versuch, die Seite zu indexieren, auf die Anweisung „noindex” gestoßen und hat die Seite deshalb nicht indexiert.” | Das noindex entfernen, wenn die Seite ranken soll |
| URL blocked by robots.txt | „Diese Seite wurde durch die robots.txt-Datei Ihrer Website blockiert.“ | Zulassen, wenn die Seite ranken soll |
| Indexed, though blocked by robots.txt | „Die Seite wurde indexiert, obwohl sie durch die robots.txt-Datei Ihrer Website blockiert wurde. Google beachtet die Anweisungen in der robots.txt-Datei immer, doch dies verhindert nicht unbedingt die Indexierung, wenn über eine andere Seite auf Ihre Seite verlinkt wird.” | Crawling zulassen und noindex setzen oder ordentlich indexieren lassen |
Der Bericht sagt Ihnen, was Google entschieden hat, stichprobenartig und verzögert. Ein Crawl sagt Ihnen den aktuellen Stand jeder URL. Nutzen Sie beides. Für die zwei häufigsten Status siehe Crawled - currently not indexed.
Wie auditieren Sie Crawling und Indexierung auf einer ganzen Website?
- Crawlen Sie die Website von der Startseite aus, mit respektierter robots.txt. Alles, was der Crawl über Links nicht erreicht, erreichen Suchmaschinen auch nicht. In Crawlens lässt sich die URLs-Tabelle nach Indexierbarkeit filtern, sodass Sie jede nicht indexierbare URL mit ihrem Grund sehen (noindex, kanonisiert, Weiterleitung, Fehler, gesperrt).
- Crawlen Sie auch die Sitemaps. Der Sitemap-Modus mit eingeschaltetem Also follow links vergleicht beides: URLs nur in der Sitemap sind verwaist, und nicht indexierbare Sitemap-URLs erscheinen als Non-indexable URLs in sitemaps.
- Rendern Sie JavaScript auf clientseitig gerenderten Websites, um Links und Inhalte zu sehen, die erst nach Skripten existieren.
- Binden Sie die Search Console an. Drei Prüfungen zeigen, wo Crawl und Google uneins sind: URLs with impressions the crawl did not find, Pages with search traffic are not indexable und Indexable pages with no search impressions.
- Importieren Sie Server-Logs, um zu sehen, was Googlebot tatsächlich tut: Indexable pages Googlebot did not crawl, URLs Googlebot crawls that the crawl did not find und Googlebot gets errors.
- Beheben, erneut crawlen und vergleichen. Bestätigen Sie dann in den folgenden Wochen in der Search Console: Laut Google gilt: „Das Crawling kann einige Tage oder mehrere Wochen dauern” (Google um erneutes Crawlen bitten).
KI-Suchmaschinen betreiben eigene Crawler mit eigenen Regeln, und die meisten rendern kein JavaScript. Die Checkliste zur AI-Search-Readiness behandelt, was sich für sie ändert. Wo Crawling und Indexierung in ein komplettes Audit passen, zeigt der Leitfaden zum technischen SEO-Audit.
Checkliste zu Crawling und Indexierung
Auffinden
- Jede wichtige Seite von mindestens einer anderen Seite verlinkt, idealerweise mehreren
- Wichtige Seiten innerhalb von vier Klicks zur Startseite
- Navigation und wichtige Links im Roh-HTML vorhanden
- Sitemaps listen nur kanonische, indexierbare 200-URLs und sind in der Search Console eingereicht
Crawling
- robots.txt sperrt nur Bereiche ohne Suchwert
- Keine 5xx-Fehler, Timeouts oder Bot-Schutz-Sperren für Suchmaschinen-Crawler
- Server antwortet in unter einer Sekunde
- Keine Weiterleitungsketten; entfernte Seiten liefern 404 oder 410
Indexierung
- Kein unbeabsichtigtes noindex in Meta-Tags oder Headern
- Canonicals zeigen auf indexierbare 200-URLs
- Duplikate gebündelt; dünne Seiten verbessert, gebündelt oder entfernt
- Hauptinhalte ohne JavaScript vorhanden oder Rendering verifiziert
Verifizierung
- Bericht zur Seitenindexierung Status für Status geprüft
- Crawl mit Search-Console-Daten verbunden
- Server-Logs auf Googlebot-Fehler und ungecrawlte Seiten geprüft (große Websites)
- Nach Fixes erneut gecrawlt und verglichen
Alle Leitfäden zu Crawling und Indexierung
- Google Indexing API SEO: who can use it and what it cannot doThe Google Indexing API is limited to qualifying job posting and livestream pages. Learn its real use cases, notification types and alternatives.
- HTTP status codes for SEO: what 200, 301, 404, 410 and 5xx mean for GoogleHow Google treats each HTTP status code: which can be indexed, which pass canonical signals, which slow crawling, and how to audit them across a site.
- Search Console Crawl Stats report: what the charts actually tell youRead host status, response codes, crawl purpose and Googlebot type in Search Console Crawl Stats, then know when URL inspection or logs are needed.
- Sitemap lastmod: when to update it and how to audit itLearn which page changes deserve a new XML sitemap lastmod date, how to catch fake timestamps at scale, and what Google actually does with the tag.
- URL parameters and SEO: which URLs should Google crawl and index?Audit tracking, sorting, session and filter parameters without blocking valuable pages. Learn when to use canonical tags, redirects, robots.txt or a clean URL.
- X-Robots-Tag: how to use the HTTP header for noindex and moreWhat the X-Robots-Tag header does, when to use it instead of a meta tag (PDFs, images, whole folders), the rules it supports, and how to find it on a site.
- Canonical tag errors: how to find and fix themCanonicals pointing to redirects, errors or noindex pages, multiple canonicals and missing ones. How to audit rel=canonical across a site and fix what's broken.
- Crawled - currently not indexed: why it happens and how to fix itWhat Crawled and Discovered - currently not indexed mean in Search Console, when they're a real problem, how to find the cause, and how to fix it at scale.
- Internal linking audit: click depth, weak pages and dead endsHow to audit internal links across a site: pages buried too deep, pages with one link, dead ends, internal nofollow and broken links.
- Noindex vs robots.txt: which to use, and the mistakes that hide pagesRobots.txt controls crawling; noindex controls indexing. How each works, why combining them backfires, and how to find pages hidden or exposed by mistake.
- Orphan pages: how to find them and what to do with themOrphan pages have no internal links pointing to them, so users and crawlers struggle to find them. How to find them with sitemaps, Search Console and logs.
- Robots.txt for SEO: syntax, examples and the mistakes that block sitesHow robots.txt works, how crawlers pick which rules apply, copy-ready examples, what happens when the file fails to load, and how to test it across a site.
- Soft 404 errors: what they are and how to fix themWhy Google reports pages that return 200 as soft 404s, the usual causes (empty pages, error messages, homepage redirects) and how to find and fix them.
- XML sitemap audit: what to check and how to fix itSitemaps full of redirects, errors and noindex pages lose Google's trust. How to audit XML sitemaps against a crawl and keep only indexable URLs.
Häufige Fragen
Was ist der Unterschied zwischen Crawling und Indexierung?
Crawling ist, wenn der Bot einer Suchmaschine eine Seite herunterlädt. Indexierung ist, wenn die Suchmaschine diese Seite analysiert und speichert, damit sie in Ergebnissen gezeigt werden kann. Eine Seite kann gecrawlt und nicht indexiert sein und, wenn sie per robots.txt gesperrt, aber von anderswo verlinkt ist, indexiert sein, ohne gecrawlt worden zu sein.
Wie lange dauert es, bis Google eine neue Seite indexiert?
Laut Google kann das Crawling wenige Tage bis wenige Wochen dauern. Links von starken internen Seiten, ein Eintrag in Ihrer Sitemap und eine Indexierungsanfrage im URL-Prüftool der Search Console können helfen, aber nichts davon garantiert die Indexierung.
Warum ist meine Seite gecrawlt, aber nicht indexiert?
„Crawled - currently not indexed“ heißt, Google hat die Seite abgerufen und vorerst nicht indexiert. Häufige Gründe sind doppelte oder fast doppelte Inhalte, dünne Seiten oder Seiten, die Google nicht wertvoll genug findet. Verbessern oder bündeln Sie die Seite; laut Google müssen Sie sie nicht erneut einreichen.
Garantiert eine Sitemap, dass meine Seiten indexiert werden?
Nein. Laut Google garantiert eine Sitemap nicht, dass alle Einträge darin gecrawlt und indexiert werden. Sie hilft beim Auffinden, vor allem auf großen oder neuen Websites, aber Seiten müssen weiter indexierbar und indexierungswürdig sein.
Kann robots.txt eine Seite aus Google heraushalten?
Nicht verlässlich. Robots.txt stoppt das Crawling, nicht die Indexierung: Eine gesperrte Seite kann weiter über Links auf sie indexiert sein, ohne ihren Inhalt. Um eine Seite aus dem Index zu halten, lassen Sie sie crawlbar und setzen Sie eine noindex-Anweisung.