Nuova ricercaTechnical SEO & AI Search · 2027Scopri il framework

Strumento SEO gratuito · Regole di corrispondenza di Google

Tester robots.txt e crawler IA

Inserisci un URL per recuperare il robots.txt online e vedere se Googlebot, Bingbot e i principali crawler IA possono scansionarlo, con la riga che decide. Modifica il file e verifica di nuovo prima di pubblicarlo.

18 crawler verificati insiemeModifica e verifica di nuovo nel browserLe regole robots.txt di Google ↗
Verifica un URL

Quali crawler possono raggiungere questa pagina?

Inserisci l’URL di una pagina o un dominio. Lo strumento legge il robots.txt dello stesso protocollo e host, come fanno i crawler.

Come funziona

Come Google legge il robots.txt

Lo strumento applica le stesse regole, tratte dalla documentazione di Google e dallo standard Robots Exclusion Protocol (RFC 9309).

Quale gruppo si applicaUn crawler segue il gruppo che nomina il suo token user-agent, senza distinguere maiuscole e minuscole. Più gruppi per lo stesso crawler vengono uniti. Solo se nessun gruppo lo nomina segue User-agent: *; i due non vengono mai combinati.
Quale regola vinceVince la regola corrispondente con il percorso più lungo. Se un Allow e un Disallow hanno la stessa lunghezza, Google usa la regola meno restrittiva, cioè Allow.
Caratteri jolly* corrisponde a qualsiasi sequenza di caratteri e un $ finale indica la fine dell’URL. I percorsi distinguono maiuscole e minuscole e devono iniziare con /.
Campi supportatiuser-agent, allow, disallow e sitemap. Google ignora gli altri, come crawl-delay.
AmbitoUn file robots.txt vale solo per il proprio protocollo, host e porta. blog.example.com ha bisogno di un file proprio.
File assente o in erroreUna risposta 4xx (tranne 429) equivale a nessun file: tutto è consentito. Un errore 5xx, 429 o di rete fa sospendere a Google la scansione del sito per 12 ore, poi usa l’ultima copia valida per un massimo di 30 giorni.
Reindirizzamenti e dimensioniGoogle segue almeno cinque reindirizzamenti per il robots.txt, poi lo considera assente. Legge i primi 500 KiB e ignora il resto.
CacheGoogle in genere memorizza il robots.txt in cache fino a 24 ore, quindi una modifica può richiedere un giorno.

Fonti: Come Google interpreta la specifica robots.txt e RFC 9309.

Elenco dei crawler

I crawler che lo strumento verifica

Ogni token è documentato dall’azienda che gestisce il crawler. I crawler cambiano, quindi controlla la pagina dell’operatore prima di affidarti a una regola.

TokenOperatoreUsato perFonte
GooglebotGoogleMotori di ricercaAnche per AI Overview e AI ModeDocumentazione ↗
BingbotMicrosoftMotori di ricercaDocumentazione ↗
ApplebotAppleMotori di ricercaSpotlight, Siri e Safari; i dati possono anche addestrare i modelli di AppleDocumentazione ↗
OAI-SearchBotOpenAIRicerca IADocumentazione ↗
Claude-SearchBotAnthropicRicerca IADocumentazione ↗
PerplexityBotPerplexityRicerca IADocumentazione ↗
Amzn-SearchBotAmazonRicerca IADocumentazione ↗
GPTBotOpenAIAddestramento IADocumentazione ↗
ClaudeBotAnthropicAddestramento IADocumentazione ↗
Google-ExtendedGoogleAddestramento IAUn token del robots.txt, non un crawler separatoDocumentazione ↗
Applebot-ExtendedAppleAddestramento IAUn token del robots.txt, non un crawler separatoDocumentazione ↗
meta-externalagentMetaAddestramento IADocumentazione ↗
AmazonbotAmazonAddestramento IAMigliora i prodotti Amazon; può addestrare i modelli di IA di AmazonDocumentazione ↗
CCBotCommon CrawlAddestramento IADocumentazione ↗
ChatGPT-UserOpenAIRecuperi su richiesta degli utentiPuò ignorare il robots.txtDocumentazione ↗
Claude-UserAnthropicRecuperi su richiesta degli utentiDocumentazione ↗
Perplexity-UserPerplexityRecuperi su richiesta degli utentiPuò ignorare il robots.txtDocumentazione ↗
meta-externalfetcherMetaRecuperi su richiesta degli utentiPuò ignorare il robots.txtDocumentazione ↗

Passo successivo

Correggi ciò che emerge dal test

Un URL bloccato è un problema solo se volevi che fosse scansionato. Queste guide coprono i casi più comuni.

Indice

Tenere una pagina fuori dai risultati

Il robots.txt blocca la scansione, non l’indicizzazione. Per togliere una pagina dai risultati usa noindex.

Noindex o robots.txt (in inglese)

Da sapere

FAQ sul tester robots.txt

Fonti: Google Search Central e RFC 9309.

Come verifico se un URL è bloccato dal robots.txt?

Inserisci l’URL qui sopra: lo strumento recupera il robots.txt online dell’host e mostra, per ogni crawler, se l’URL è consentito e quale riga decide. Per Googlebot, anche lo strumento Controllo URL di Search Console indica se un URL è bloccato.

Bloccare una pagina nel robots.txt la toglie da Google?

No. Google spiega che un URL bloccato può essere indicizzato senza essere scansionato se altre pagine lo linkano, di solito senza descrizione. Per tenere una pagina fuori dai risultati, consenti la scansione e usa un meta tag o un’intestazione noindex.

Quale regola vince quando Allow e Disallow sono in conflitto?

La regola con il percorso corrispondente più lungo. Se una regola Allow e una Disallow hanno la stessa lunghezza, Google usa quella meno restrittiva, Allow.

Perché Googlebot ignora le mie regole User-agent: *?

Perché il tuo file contiene un gruppo per Googlebot. Un crawler che trova un gruppo con il proprio nome segue solo quello e ignora il gruppo *, quindi ripeti le regole comuni nel gruppo di Googlebot.

Cosa succede se il robots.txt restituisce un errore 404 o 500?

Un 404 o un altro 4xx (tranne 429) equivale a nessun robots.txt, quindi tutto può essere scansionato. Un 5xx o un 429 fa sospendere a Google la scansione del sito per 12 ore; dopo usa l’ultima copia valida per un massimo di 30 giorni.

Verifica il robots.txt su tutto il sito

Crawlens scansiona con lo user-agent che scegli e può seguirne le regole robots.txt, segnala le pagine linkate che il robots.txt blocca, e l’analisi dei log del server mostra quali crawler IA hanno davvero richiesto le tue pagine.

Scarica gratis per Windows