Neue StudieTechnical SEO & AI Search · 2027Zum Framework

Crawling und Indexierung: Wie Suchmaschinen Seiten finden

Wie Crawling und Indexierung funktionieren, was Schritte blockiert, wie Sie den Indexierungsbericht lesen und die Crawlability der Website auditieren.

Verlinkte Leitfäden öffnen sich auf Englisch, bis sie übersetzt sind.

Jede Seite mit Ranking durchlief dieselbe Pipeline: Eine Suchmaschine entdeckte ihre URL, rief sie ab, renderte sie, befand sie für behaltenswert und speicherte sie in ihrem Index. Ein Fehler an einem beliebigen Schritt hält die Seite von den Ergebnissen fern, und die meisten Fehler machen keinen Lärm. Die Seite ist einfach nie da.

Dieser Leitfaden erklärt jeden Schritt, was ihn blockiert, wie Sie die Berichte lesen, die Google Ihnen gibt, und wie Sie Crawling und Indexierung auf einer ganzen Website auditieren. Jeder Abschnitt verlinkt auf einen ausführlichen Leitfaden.

Was ist der Unterschied zwischen Crawling und Indexierung?

Crawling ist, wenn eine Suchmaschine Ihre Seite herunterlädt; Indexierung ist, wenn die Suchmaschine diese Seite analysiert und speichert, damit sie in Ergebnissen erscheinen kann. Google beschreibt Crawling als den Moment, in dem „Google Text, Bilder und Videos von im Internet gefundenen Seiten mit automatischen Programmen herunterlädt – diese werden Crawler genannt”, gefolgt von der Indexierung, in der es die Inhalte analysiert und ermittelt, welche URL die kanonische ist (Funktionsweise der Google-Suche).

Beides kann auseinanderfallen:

  • Gecrawlt, nicht indexiert: Google hat die Seite abgerufen und entschieden, sie nicht zu behalten – eine Indexierung ist nicht garantiert.
  • Indexiert, nicht gecrawlt: Eine per robots.txt gesperrte Seite kann weiter über Links auf sie indexiert sein, ohne ihren Inhalt.

Wie kommt eine Seite von Ihrem Server in den Index?

Phase Was passiert Was es blockiert
Auffinden Die Suchmaschine erfährt, dass die URL existiert, über Links, Sitemaps oder Einreichungen Keine internen Links, Fehlen in Sitemaps, nur per JavaScript hinzugefügte Links
Crawling Der Crawler fragt die URL an robots.txt-Disallow, Server-Fehler, Timeouts, Bot-Schutz
Rendering Die Seite läuft in einem Browser, damit Skripte Inhalte ergänzen können Skripte, die scheitern, in Timeouts laufen oder Nutzerinteraktion brauchen
Indexierung Der Inhalt wird analysiert und gespeichert, und eine kanonische URL gewählt Nicht-200-Status, noindex, Canonical auf eine andere URL, doppelte oder minderwertige Inhalte
Ausspielung Indexierte Seiten werden für Suchanfragen gerankt Alles andere in SEO

Googles eigene technische Voraussetzungen kochen die ersten vier Phasen auf drei Bedingungen herunter: „Der Googlebot wird nicht blockiert”, „die Seite funktioniert, das heißt, Google erhält den HTTP-Statuscode 200 (success)” und „auf der Seite sind indexierbare Inhalte zu finden”.

Wie entdecken Suchmaschinen Seiten?

Meist über Links. Ein Crawler, der auf Ihrer Startseite startet und Links folgt, erreicht jede verlinkte Seite – und nichts, was nicht verlinkt ist. Das macht interne Verlinkung zum Haupthebel, den Sie kontrollieren:

Bei Single-Page-Apps hängt das Auffinden auch von echten Links und URLs ab, die beim frischen Laden funktionieren. Der Leitfaden zu SPA-Navigation und SEO behandelt clientseitiges Routing, History-API-Änderungen und Deep-Link-Prüfungen.

Inhalte, die erst nach Scrollen oder Klicken erscheinen, können ebenfalls übersehen werden. Der Leitfaden zu Lazy Loading und SEO erklärt, wie Bilder, tiefere Produkte und Infinite-Scroll-Seiten auffindbar bleiben.

XML-Sitemaps sind der zweite Kanal. Laut Google helfen sie am meisten auf großen Websites, neuen Websites mit wenigen externen Links und Websites mit vielen Medien, wobei gilt: „Wir können jedoch nicht garantieren, dass alle Elemente in deiner Sitemap gecrawlt und indexiert werden” (Sitemap-Überblick). Eine Sitemap voller Weiterleitungen, Fehler und noindex-URLs ist schlimmer als eine kurze, genaue. Siehe das Audit der XML-Sitemap.

Wenn der Bestand eine Datei übersteigt, zeigt der Leitfaden zu Sitemap-Index und SEO, wie Sie ihn in gültige Kind-Sitemaps aufteilen und jede Gruppe überwachen.

Innerhalb jeder Datei erklärt der Sitemap-lastmod-Leitfaden, wann sich das Änderungsdatum einer Seite ändern sollte und wie Sie Generatoren erwischen, die jede URL mit dem Build-Datum stempeln.

Was hindert eine Seite am Crawling?

Ursache Wie es sich zeigt Crawlens-Prüfung
robots.txt verbietet die URL Per robots.txt gesperrt Linked pages blocked by robots.txt
Server-Fehler 5xx-Antworten; Google drosselt das Crawling Internal pages return 5xx
Timeouts, DNS- oder SSL-Fehler Keine Antwort Pages did not respond
Firewall oder Bot-Schutz 403 oder Challenge-Seiten nur für Crawler Pages PageSpeed Insights could not test deutet oft darauf hin
Nirgendwo verlinkt Durch Folgen von Links nie gefunden Orphan pages
Zu tief Selten gecrawlt Pages more than 4 clicks from the start
Links erst nach Rendering Spät oder nie gefunden Links only in rendered HTML
Langsame Antworten Weniger Seiten pro Besuch gecrawlt Slow server response (over 1 second)

Was hindert eine Seite an der Indexierung?

Ursache Was zu prüfen ist Crawlens-Prüfung
noindex im Meta-Tag oder X-Robots-Tag-Header Absicht oder Rest aus dem Staging? Noindex pages
Canonical zeigt auf eine andere URL Ist die andere URL die richtige und indexierbar? Canonicalised pages, Canonical points to a non-200 URL, to a noindex page
Statuscode ist nicht 200 4xx, 5xx oder Weiterleitung Internal pages return 4xx
Duplikat einer anderen Seite Google wählt eine URL und verwirft die anderen Duplicate content
Zu wenig Inhalt Kaum Grund, sie zu indexieren Thin content (under 200 words)
Inhalt erst nach JavaScript Indexierung ist langsamer und scheitert, wenn Rendering scheitert Content depends on JavaScript

Die ausführlichen Leitfäden: noindex vs. robots.txt, X-Robots-Tag, HTTP-Statuscodes, Fehler beim Canonical-Tag, Duplicate Content finden, Thin Content und Soft-404-Fehler.

Welche Steuerungen wirken auf Crawling, welche auf Indexierung?

Sie zu verwechseln verursacht mehr Indexierungsprobleme als alles andere.

Steuerung Wirkt auf Crawling Wirkt auf Indexierung Wofür
robots.txt-Disallow Ja Nein (gesperrte URLs können weiter über Links indexiert sein) Crawler aus Bereichen ohne Suchwert heraushalten: Warenkörbe, interne Suche, endlose Filter
noindex (Meta oder Header) Nein Ja Eine Seite aus den Ergebnissen halten. Die Seite muss crawlbar bleiben, damit die Anweisung gesehen wird
rel="canonical" Nein Hinweis Sagen, welche von mehreren ähnlichen URLs indexiert werden soll
301-/308-Weiterleitung Bewegt den Crawler Bewegt Signale zum Ziel Eine URL stilllegen oder umziehen
404 / 410 Wird mit der Zeit seltener gecrawlt Wird aus dem Index entfernt Eine Seite ohne Ersatz entfernen
nofollow an internen Links Hält das Linksignal zurück Nein Intern selten nötig
XML-Sitemap Hilft beim Auffinden Nein Die kanonischen, indexierbaren URLs listen, die gefunden werden sollen

Der klassische Fehler ist, eine Seite per robots.txt zu sperren, um sie aus Google zu entfernen: Der Crawler kann das noindex nicht mehr sehen, also bleibt die URL möglicherweise indexiert. Noindex vs. robots.txt behandelt das im Detail, und robots.txt für SEO behandelt die Syntax und wie Crawler wählen, welche Regeln gelten. Ob eine einzelne URL laut Live-Datei für Googlebot und die wichtigsten AI-Crawler erlaubt ist, zeigt der kostenlose Robots.txt-Tester.

Der Leitfaden zur Google Indexing API erklärt, warum API-Meldungen auf geeignete Job- und Livestream-Seiten beschränkt sind und kein Ersatz für Links und Sitemaps auf gewöhnlichen Websites.

Wenn Abfrageparameter mehrere Versionen einer Seite erzeugen, wählen Sie die Steuerung danach, was jede Version ändert. Der Leitfaden zu URL-Parametern und SEO geht Tracking, Sortierung, Paginierung und Filter durch, ohne nützliche Seiten aus Versehen zu sperren.

Ist Crawl-Budget für Ihre Website relevant?

Wahrscheinlich nicht, außer die Website ist groß. Googles Crawl-Budget-Leitfaden ist geschrieben für „große Websites (über 1 Million einzelne Seiten), deren Inhalt sich häufig (einmal pro Woche) ändert oder mittelgroße Websites (mehr als 10.000 einzelne Seiten) mit Inhalten, die sich sehr schnell (täglich) ändern” und Websites, bei denen ein Großteil ihrer gesamten URLs von der Search Console als „Gefunden – zurzeit nicht indexiert” klassifiziert wurde. Für alle anderen ist der Leitfaden laut Google nicht nötig.

Wo es zählt, lautet der Rat, keine Crawls zu verschwenden: URLs, die nicht gecrawlt werden sollten, per robots.txt sperren, „gib den Statuscode 404 oder 410 für dauerhaft entfernte Seiten zurück”, Soft 404s beheben, „halte deine Sitemaps auf dem neuesten Stand”, „vermeide lange Weiterleitungsketten” und Seiten schnell laden lassen.

Der einzige Weg zu sehen, wofür Crawl-Budget tatsächlich ausgegeben wird, sind Server-Logs: welche URLs Googlebot anfragt, wie oft und was er zurückbekommt. Siehe Logfile-Analyse und Crawl-Budget für Details; das Framework für technisches Enterprise-SEO verbindet diese Befunde mit großen URL-Beständen und Release-Abläufen.

Für einen schnelleren Blick auf Anfragentrends, Host-Verfügbarkeit, Antwortcodes und Googlebot-Typen lesen Sie den Search-Console-Bericht zu Crawling-Statistiken. Er zeigt Muster und Beispiel-URLs; für eine vollständige pfadgenaue Anfragehistorie braucht es weiter Logs.

Wie lesen Sie den Search-Console-Bericht zur Seitenindexierung?

Der Bericht zur Seitenindexierung erklärt, warum Google jede bekannte URL nicht indexiert hat. Die Status, die Sie am häufigsten sehen:

Status Was Google sagt Was zu tun ist
Discovered - currently not indexed „Die Seite wurde von Google gefunden, aber noch nicht gecrawlt. Wird diese Begründung angegeben, hat Google normalerweise versucht, die URL zu crawlen, aber das hätte die Website überlastet. Daher hat Google das Crawling neu geplant. Aus diesem Grund ist das Feld mit dem letzten Crawling-Datum im Bericht leer.” Server-Geschwindigkeit und Fehler prüfen; interne Links auf die Seiten stärken
Crawled - currently not indexed „Die Seite wurde von Google gecrawlt, aber nicht indexiert. Sie könnte jedoch in Zukunft indexiert werden. Sie brauchen diese URL nicht noch einmal zum Crawling einzureichen.” Dünne und doppelte Seiten verbessern, bündeln oder entfernen
Duplicate without user-selected canonical „Diese Seite ist ein Duplikat einer anderen Seite, enthält jedoch keine Angabe einer bevorzugten kanonischen Seite. Google hat die andere Seite als kanonische Seite für diese Seite ausgewählt und zeigt diese daher nicht in der Google Suche an.” Canonicals ergänzen oder die Duplikate bündeln
Alternate page with proper canonical tag „Diese Seite ist als Alternative einer anderen Seite gekennzeichnet, d. h. als AMP-Seite mit einer kanonischen Desktopversion, als mobile Version einer kanonischen Desktopversion oder als Desktopversion einer kanonischen mobilen Version. Die Seite verweist korrekt auf die indexierte kanonische Seite. Sie müssen nichts weiter unternehmen.” Nichts, wenn das Canonical beabsichtigt ist
URL marked ‘noindex’ „Google ist beim Versuch, die Seite zu indexieren, auf die Anweisung „noindex” gestoßen und hat die Seite deshalb nicht indexiert.” Das noindex entfernen, wenn die Seite ranken soll
URL blocked by robots.txt „Diese Seite wurde durch die robots.txt-Datei Ihrer Website blockiert.“ Zulassen, wenn die Seite ranken soll
Indexed, though blocked by robots.txt „Die Seite wurde indexiert, obwohl sie durch die robots.txt-Datei Ihrer Website blockiert wurde. Google beachtet die Anweisungen in der robots.txt-Datei immer, doch dies verhindert nicht unbedingt die Indexierung, wenn über eine andere Seite auf Ihre Seite verlinkt wird.” Crawling zulassen und noindex setzen oder ordentlich indexieren lassen

Der Bericht sagt Ihnen, was Google entschieden hat, stichprobenartig und verzögert. Ein Crawl sagt Ihnen den aktuellen Stand jeder URL. Nutzen Sie beides. Für die zwei häufigsten Status siehe Crawled - currently not indexed.

Wie auditieren Sie Crawling und Indexierung auf einer ganzen Website?

  1. Crawlen Sie die Website von der Startseite aus, mit respektierter robots.txt. Alles, was der Crawl über Links nicht erreicht, erreichen Suchmaschinen auch nicht. In Crawlens lässt sich die URLs-Tabelle nach Indexierbarkeit filtern, sodass Sie jede nicht indexierbare URL mit ihrem Grund sehen (noindex, kanonisiert, Weiterleitung, Fehler, gesperrt).
  2. Crawlen Sie auch die Sitemaps. Der Sitemap-Modus mit eingeschaltetem Also follow links vergleicht beides: URLs nur in der Sitemap sind verwaist, und nicht indexierbare Sitemap-URLs erscheinen als Non-indexable URLs in sitemaps.
  3. Rendern Sie JavaScript auf clientseitig gerenderten Websites, um Links und Inhalte zu sehen, die erst nach Skripten existieren.
  4. Binden Sie die Search Console an. Drei Prüfungen zeigen, wo Crawl und Google uneins sind: URLs with impressions the crawl did not find, Pages with search traffic are not indexable und Indexable pages with no search impressions.
  5. Importieren Sie Server-Logs, um zu sehen, was Googlebot tatsächlich tut: Indexable pages Googlebot did not crawl, URLs Googlebot crawls that the crawl did not find und Googlebot gets errors.
  6. Beheben, erneut crawlen und vergleichen. Bestätigen Sie dann in den folgenden Wochen in der Search Console: Laut Google gilt: „Das Crawling kann einige Tage oder mehrere Wochen dauern” (Google um erneutes Crawlen bitten).

KI-Suchmaschinen betreiben eigene Crawler mit eigenen Regeln, und die meisten rendern kein JavaScript. Die Checkliste zur AI-Search-Readiness behandelt, was sich für sie ändert. Wo Crawling und Indexierung in ein komplettes Audit passen, zeigt der Leitfaden zum technischen SEO-Audit.

Checkliste zu Crawling und Indexierung

Auffinden

  • Jede wichtige Seite von mindestens einer anderen Seite verlinkt, idealerweise mehreren
  • Wichtige Seiten innerhalb von vier Klicks zur Startseite
  • Navigation und wichtige Links im Roh-HTML vorhanden
  • Sitemaps listen nur kanonische, indexierbare 200-URLs und sind in der Search Console eingereicht

Crawling

  • robots.txt sperrt nur Bereiche ohne Suchwert
  • Keine 5xx-Fehler, Timeouts oder Bot-Schutz-Sperren für Suchmaschinen-Crawler
  • Server antwortet in unter einer Sekunde
  • Keine Weiterleitungsketten; entfernte Seiten liefern 404 oder 410

Indexierung

  • Kein unbeabsichtigtes noindex in Meta-Tags oder Headern
  • Canonicals zeigen auf indexierbare 200-URLs
  • Duplikate gebündelt; dünne Seiten verbessert, gebündelt oder entfernt
  • Hauptinhalte ohne JavaScript vorhanden oder Rendering verifiziert

Verifizierung

  • Bericht zur Seitenindexierung Status für Status geprüft
  • Crawl mit Search-Console-Daten verbunden
  • Server-Logs auf Googlebot-Fehler und ungecrawlte Seiten geprüft (große Websites)
  • Nach Fixes erneut gecrawlt und verglichen

Alle Leitfäden zu Crawling und Indexierung

Häufige Fragen

Was ist der Unterschied zwischen Crawling und Indexierung?

Crawling ist, wenn der Bot einer Suchmaschine eine Seite herunterlädt. Indexierung ist, wenn die Suchmaschine diese Seite analysiert und speichert, damit sie in Ergebnissen gezeigt werden kann. Eine Seite kann gecrawlt und nicht indexiert sein und, wenn sie per robots.txt gesperrt, aber von anderswo verlinkt ist, indexiert sein, ohne gecrawlt worden zu sein.

Wie lange dauert es, bis Google eine neue Seite indexiert?

Laut Google kann das Crawling wenige Tage bis wenige Wochen dauern. Links von starken internen Seiten, ein Eintrag in Ihrer Sitemap und eine Indexierungsanfrage im URL-Prüftool der Search Console können helfen, aber nichts davon garantiert die Indexierung.

Warum ist meine Seite gecrawlt, aber nicht indexiert?

„Crawled - currently not indexed“ heißt, Google hat die Seite abgerufen und vorerst nicht indexiert. Häufige Gründe sind doppelte oder fast doppelte Inhalte, dünne Seiten oder Seiten, die Google nicht wertvoll genug findet. Verbessern oder bündeln Sie die Seite; laut Google müssen Sie sie nicht erneut einreichen.

Garantiert eine Sitemap, dass meine Seiten indexiert werden?

Nein. Laut Google garantiert eine Sitemap nicht, dass alle Einträge darin gecrawlt und indexiert werden. Sie hilft beim Auffinden, vor allem auf großen oder neuen Websites, aber Seiten müssen weiter indexierbar und indexierungswürdig sein.

Kann robots.txt eine Seite aus Google heraushalten?

Nicht verlässlich. Robots.txt stoppt das Crawling, nicht die Indexierung: Eine gesperrte Seite kann weiter über Links auf sie indexiert sein, ohne ihren Inhalt. Um eine Seite aus dem Index zu halten, lassen Sie sie crawlbar und setzen Sie eine noindex-Anweisung.

· Gründer von Crawlens

Dien entwickelt Crawlens, einen Desktop-Crawler für technische SEO-Audits, und schreibt über Crawling, Indexierung, Rendering und Search-Console-Daten.

Prüfen Sie Ihre eigene Website mit Crawlens

Crawlen, 70 Checks ausführen und die Ergebnisse neben Search-Console- und Core-Web-Vitals-Daten sehen.

Kostenlos für Windows herunterladen