robots.txt richtig schreiben
Syntax, Abgleich und die Fehler, die mehr sperren als gewollt, etwa ein verirrtes Disallow: /.
robots.txt für SEO (auf Englisch)Kostenloses SEO-Tool · Googles Abgleichsregeln
Geben Sie eine URL ein: Das Tool lädt die live geschaltete robots.txt und zeigt, ob Googlebot, Bingbot und die wichtigsten AI-Crawler sie crawlen dürfen, samt der entscheidenden Zeile. Bearbeiten Sie die Datei und testen Sie erneut, bevor Sie sie veröffentlichen.
Geben Sie eine Seiten-URL oder eine Domain ein. Das Tool liest die robots.txt von demselben Protokoll und Host, so wie Crawler es tun.
Ergebnisse
Sie testen Ihre bearbeitete robots.txt, nicht die Live-Datei.
| Crawler | Ergebnis | Entscheidende Regel |
|---|
Bearbeiten Sie die Datei, um eine Änderung zu testen. Nichts wird gespeichert oder gesendet; die Ergebnisse aktualisieren sich beim Tippen.
So funktioniert es
Das Tool wendet dieselben Regeln an, aus Googles Dokumentation und dem Standard des Robots Exclusion Protocol (RFC 9309).
| Welche Gruppe gilt | Ein Crawler folgt der Gruppe, die sein User-Agent-Token nennt, ohne auf Groß- und Kleinschreibung zu achten. Mehrere Gruppen für denselben Crawler werden zusammengeführt. Nur wenn keine Gruppe ihn nennt, folgt er User-agent: *; beide werden nie kombiniert. |
|---|---|
| Welche Regel gewinnt | Die passende Regel mit dem längsten Pfad gewinnt. Sind ein Allow und ein Disallow gleich lang, verwendet Google die weniger restriktive Regel, also Allow. |
| Platzhalter | * steht für beliebige Zeichenfolgen, ein $ am Ende markiert das Ende der URL. Pfade unterscheiden Groß- und Kleinschreibung und müssen mit / beginnen. |
| Unterstützte Felder | user-agent, allow, disallow und sitemap. Andere Felder wie crawl-delay ignoriert Google. |
| Geltungsbereich | Eine robots.txt gilt nur für ihr eigenes Protokoll, ihren Host und Port. blog.example.com braucht eine eigene Datei. |
| Fehlende oder fehlerhafte Datei | Eine 4xx-Antwort (außer 429) gilt als keine Datei: Alles ist erlaubt. Bei 5xx, 429 oder Netzwerkfehlern crawlt Google die Website 12 Stunden lang nicht und nutzt danach bis zu 30 Tage lang die letzte gültige Kopie. |
| Weiterleitungen und Größe | Google folgt bei der robots.txt mindestens fünf Weiterleitungen und behandelt sie danach als fehlend. Gelesen werden die ersten 500 KiB, der Rest wird ignoriert. |
| Caching | Google speichert die robots.txt in der Regel bis zu 24 Stunden im Cache, eine Änderung kann also einen Tag brauchen. |
Quellen: Wie Google die robots.txt-Spezifikation interpretiert und RFC 9309.
Crawler-Liste
Jedes Token ist vom jeweiligen Betreiber dokumentiert. Crawler ändern sich, prüfen Sie also die Seite des Betreibers, bevor Sie sich auf eine Regel verlassen.
| Token | Betreiber | Zweck | Quelle |
|---|---|---|---|
Googlebot | SuchmaschinenAuch für Übersichten mit KI und den KI-Modus | Dokumentation ↗ | |
Bingbot | Microsoft | Suchmaschinen | Dokumentation ↗ |
Applebot | Apple | SuchmaschinenSpotlight, Siri und Safari; Daten können auch Apple-Modelle trainieren | Dokumentation ↗ |
OAI-SearchBot | OpenAI | AI-Suche | Dokumentation ↗ |
Claude-SearchBot | Anthropic | AI-Suche | Dokumentation ↗ |
PerplexityBot | Perplexity | AI-Suche | Dokumentation ↗ |
Amzn-SearchBot | Amazon | AI-Suche | Dokumentation ↗ |
GPTBot | OpenAI | AI-Training | Dokumentation ↗ |
ClaudeBot | Anthropic | AI-Training | Dokumentation ↗ |
Google-Extended | AI-TrainingEin robots.txt-Token, kein eigener Crawler | Dokumentation ↗ | |
Applebot-Extended | Apple | AI-TrainingEin robots.txt-Token, kein eigener Crawler | Dokumentation ↗ |
meta-externalagent | Meta | AI-Training | Dokumentation ↗ |
Amazonbot | Amazon | AI-TrainingVerbessert Amazon-Produkte; kann Amazons AI-Modelle trainieren | Dokumentation ↗ |
CCBot | Common Crawl | AI-Training | Dokumentation ↗ |
ChatGPT-User | OpenAI | Abrufe auf NutzeranfrageIgnoriert robots.txt eventuell | Dokumentation ↗ |
Claude-User | Anthropic | Abrufe auf Nutzeranfrage | Dokumentation ↗ |
Perplexity-User | Perplexity | Abrufe auf NutzeranfrageIgnoriert robots.txt eventuell | Dokumentation ↗ |
meta-externalfetcher | Meta | Abrufe auf NutzeranfrageIgnoriert robots.txt eventuell | Dokumentation ↗ |
Nächster Schritt
Eine blockierte URL ist nur dann ein Problem, wenn sie gecrawlt werden soll. Diese Leitfäden behandeln die üblichen Fälle.
Syntax, Abgleich und die Fehler, die mehr sperren als gewollt, etwa ein verirrtes Disallow: /.
robots.txt für SEO (auf Englisch)AI-Training widersprechen und trotzdem in Antworten von ChatGPT, Claude und Perplexity zitiert werden.
AI-Crawler blockieren (auf Englisch)robots.txt verhindert das Crawlen, nicht die Indexierung. Um eine Seite aus den Ergebnissen zu entfernen, nutzen Sie noindex.
Noindex vs. robots.txt (auf Englisch)Gut zu wissen
Quellen: Google Search Central und RFC 9309.
Geben Sie die URL oben ein: Das Tool lädt die live geschaltete robots.txt des Hosts und zeigt für jeden Crawler, ob die URL erlaubt ist und welche Zeile entscheidet. Für den Googlebot zeigt auch das URL-Prüftool der Search Console, ob eine URL blockiert ist.
Nein. Laut Google kann eine gesperrte URL ohne Crawling indexiert werden, wenn andere Seiten auf sie verlinken, meist ohne Beschreibung. Um eine Seite aus den Suchergebnissen herauszuhalten, erlauben Sie das Crawlen und verwenden ein noindex-Meta-Tag oder einen noindex-Header.
Die Regel mit dem längsten passenden Pfad. Sind eine Allow- und eine Disallow-Regel gleich lang, verwendet Google die weniger restriktive Allow-Regel.
Weil Ihre Datei eine Gruppe für den Googlebot enthält. Ein Crawler, der eine Gruppe mit seinem Namen findet, folgt nur dieser und ignoriert die *-Gruppe. Wiederholen Sie gemeinsame Regeln deshalb in der Googlebot-Gruppe.
Ein 404 oder ein anderer 4xx-Code (außer 429) gilt als keine robots.txt, alles darf gecrawlt werden. Bei 5xx oder 429 crawlt Google die Website 12 Stunden lang nicht und nutzt danach bis zu 30 Tage lang die letzte gültige Kopie.
Crawlens crawlt mit dem User-Agent Ihrer Wahl und kann dessen robots.txt-Regeln befolgen, markiert verlinkte Seiten, die robots.txt blockiert, und die Server-Log-Analyse zeigt, welche AI-Crawler Ihre Seiten tatsächlich abgerufen haben.
Kostenlos für Windows herunterladen