Neue StudieTechnical SEO & AI Search · 2027Zum Framework

Kostenloses SEO-Tool · Googles Abgleichsregeln

Robots.txt-Tester & AI-Crawler-Check

Geben Sie eine URL ein: Das Tool lädt die live geschaltete robots.txt und zeigt, ob Googlebot, Bingbot und die wichtigsten AI-Crawler sie crawlen dürfen, samt der entscheidenden Zeile. Bearbeiten Sie die Datei und testen Sie erneut, bevor Sie sie veröffentlichen.

18 Crawler auf einmal geprüftIm Browser bearbeiten und erneut testenGoogles robots.txt-Regeln ↗
URL testen

Welche Crawler erreichen diese Seite?

Geben Sie eine Seiten-URL oder eine Domain ein. Das Tool liest die robots.txt von demselben Protokoll und Host, so wie Crawler es tun.

So funktioniert es

Wie Google die robots.txt liest

Das Tool wendet dieselben Regeln an, aus Googles Dokumentation und dem Standard des Robots Exclusion Protocol (RFC 9309).

Welche Gruppe giltEin Crawler folgt der Gruppe, die sein User-Agent-Token nennt, ohne auf Groß- und Kleinschreibung zu achten. Mehrere Gruppen für denselben Crawler werden zusammengeführt. Nur wenn keine Gruppe ihn nennt, folgt er User-agent: *; beide werden nie kombiniert.
Welche Regel gewinntDie passende Regel mit dem längsten Pfad gewinnt. Sind ein Allow und ein Disallow gleich lang, verwendet Google die weniger restriktive Regel, also Allow.
Platzhalter* steht für beliebige Zeichenfolgen, ein $ am Ende markiert das Ende der URL. Pfade unterscheiden Groß- und Kleinschreibung und müssen mit / beginnen.
Unterstützte Felderuser-agent, allow, disallow und sitemap. Andere Felder wie crawl-delay ignoriert Google.
GeltungsbereichEine robots.txt gilt nur für ihr eigenes Protokoll, ihren Host und Port. blog.example.com braucht eine eigene Datei.
Fehlende oder fehlerhafte DateiEine 4xx-Antwort (außer 429) gilt als keine Datei: Alles ist erlaubt. Bei 5xx, 429 oder Netzwerkfehlern crawlt Google die Website 12 Stunden lang nicht und nutzt danach bis zu 30 Tage lang die letzte gültige Kopie.
Weiterleitungen und GrößeGoogle folgt bei der robots.txt mindestens fünf Weiterleitungen und behandelt sie danach als fehlend. Gelesen werden die ersten 500 KiB, der Rest wird ignoriert.
CachingGoogle speichert die robots.txt in der Regel bis zu 24 Stunden im Cache, eine Änderung kann also einen Tag brauchen.

Quellen: Wie Google die robots.txt-Spezifikation interpretiert und RFC 9309.

Crawler-Liste

Die Crawler, die das Tool prüft

Jedes Token ist vom jeweiligen Betreiber dokumentiert. Crawler ändern sich, prüfen Sie also die Seite des Betreibers, bevor Sie sich auf eine Regel verlassen.

TokenBetreiberZweckQuelle
GooglebotGoogleSuchmaschinenAuch für Übersichten mit KI und den KI-ModusDokumentation ↗
BingbotMicrosoftSuchmaschinenDokumentation ↗
ApplebotAppleSuchmaschinenSpotlight, Siri und Safari; Daten können auch Apple-Modelle trainierenDokumentation ↗
OAI-SearchBotOpenAIAI-SucheDokumentation ↗
Claude-SearchBotAnthropicAI-SucheDokumentation ↗
PerplexityBotPerplexityAI-SucheDokumentation ↗
Amzn-SearchBotAmazonAI-SucheDokumentation ↗
GPTBotOpenAIAI-TrainingDokumentation ↗
ClaudeBotAnthropicAI-TrainingDokumentation ↗
Google-ExtendedGoogleAI-TrainingEin robots.txt-Token, kein eigener CrawlerDokumentation ↗
Applebot-ExtendedAppleAI-TrainingEin robots.txt-Token, kein eigener CrawlerDokumentation ↗
meta-externalagentMetaAI-TrainingDokumentation ↗
AmazonbotAmazonAI-TrainingVerbessert Amazon-Produkte; kann Amazons AI-Modelle trainierenDokumentation ↗
CCBotCommon CrawlAI-TrainingDokumentation ↗
ChatGPT-UserOpenAIAbrufe auf NutzeranfrageIgnoriert robots.txt eventuellDokumentation ↗
Claude-UserAnthropicAbrufe auf NutzeranfrageDokumentation ↗
Perplexity-UserPerplexityAbrufe auf NutzeranfrageIgnoriert robots.txt eventuellDokumentation ↗
meta-externalfetcherMetaAbrufe auf NutzeranfrageIgnoriert robots.txt eventuellDokumentation ↗

Nächster Schritt

Beheben, was der Test zeigt

Eine blockierte URL ist nur dann ein Problem, wenn sie gecrawlt werden soll. Diese Leitfäden behandeln die üblichen Fälle.

Index

Eine Seite aus der Suche heraushalten

robots.txt verhindert das Crawlen, nicht die Indexierung. Um eine Seite aus den Ergebnissen zu entfernen, nutzen Sie noindex.

Noindex vs. robots.txt (auf Englisch)

Gut zu wissen

FAQ zum robots.txt-Tester

Quellen: Google Search Central und RFC 9309.

Wie prüfe ich, ob eine URL per robots.txt blockiert ist?

Geben Sie die URL oben ein: Das Tool lädt die live geschaltete robots.txt des Hosts und zeigt für jeden Crawler, ob die URL erlaubt ist und welche Zeile entscheidet. Für den Googlebot zeigt auch das URL-Prüftool der Search Console, ob eine URL blockiert ist.

Entfernt eine Sperre in der robots.txt eine Seite aus Google?

Nein. Laut Google kann eine gesperrte URL ohne Crawling indexiert werden, wenn andere Seiten auf sie verlinken, meist ohne Beschreibung. Um eine Seite aus den Suchergebnissen herauszuhalten, erlauben Sie das Crawlen und verwenden ein noindex-Meta-Tag oder einen noindex-Header.

Welche Regel gewinnt, wenn Allow und Disallow kollidieren?

Die Regel mit dem längsten passenden Pfad. Sind eine Allow- und eine Disallow-Regel gleich lang, verwendet Google die weniger restriktive Allow-Regel.

Warum ignoriert der Googlebot meine Regeln unter User-agent: *?

Weil Ihre Datei eine Gruppe für den Googlebot enthält. Ein Crawler, der eine Gruppe mit seinem Namen findet, folgt nur dieser und ignoriert die *-Gruppe. Wiederholen Sie gemeinsame Regeln deshalb in der Googlebot-Gruppe.

Was passiert, wenn die robots.txt einen 404- oder 500-Fehler liefert?

Ein 404 oder ein anderer 4xx-Code (außer 429) gilt als keine robots.txt, alles darf gecrawlt werden. Bei 5xx oder 429 crawlt Google die Website 12 Stunden lang nicht und nutzt danach bis zu 30 Tage lang die letzte gültige Kopie.

robots.txt für die ganze Website testen

Crawlens crawlt mit dem User-Agent Ihrer Wahl und kann dessen robots.txt-Regeln befolgen, markiert verlinkte Seiten, die robots.txt blockiert, und die Server-Log-Analyse zeigt, welche AI-Crawler Ihre Seiten tatsächlich abgerufen haben.

Kostenlos für Windows herunterladen