Scrivere bene il robots.txt
Sintassi, corrispondenza e gli errori che bloccano più del previsto, come un Disallow: / di troppo.
Il robots.txt per la SEO (in inglese)Strumento SEO gratuito · Regole di corrispondenza di Google
Inserisci un URL per recuperare il robots.txt online e vedere se Googlebot, Bingbot e i principali crawler IA possono scansionarlo, con la riga che decide. Modifica il file e verifica di nuovo prima di pubblicarlo.
Inserisci l’URL di una pagina o un dominio. Lo strumento legge il robots.txt dello stesso protocollo e host, come fanno i crawler.
Risultati
Stai verificando il robots.txt modificato, non il file online.
| Crawler | Risultato | Regola decisiva |
|---|
Modifica il file per provare una modifica. Nulla viene salvato o inviato; i risultati si aggiornano mentre scrivi.
Come funziona
Lo strumento applica le stesse regole, tratte dalla documentazione di Google e dallo standard Robots Exclusion Protocol (RFC 9309).
| Quale gruppo si applica | Un crawler segue il gruppo che nomina il suo token user-agent, senza distinguere maiuscole e minuscole. Più gruppi per lo stesso crawler vengono uniti. Solo se nessun gruppo lo nomina segue User-agent: *; i due non vengono mai combinati. |
|---|---|
| Quale regola vince | Vince la regola corrispondente con il percorso più lungo. Se un Allow e un Disallow hanno la stessa lunghezza, Google usa la regola meno restrittiva, cioè Allow. |
| Caratteri jolly | * corrisponde a qualsiasi sequenza di caratteri e un $ finale indica la fine dell’URL. I percorsi distinguono maiuscole e minuscole e devono iniziare con /. |
| Campi supportati | user-agent, allow, disallow e sitemap. Google ignora gli altri, come crawl-delay. |
| Ambito | Un file robots.txt vale solo per il proprio protocollo, host e porta. blog.example.com ha bisogno di un file proprio. |
| File assente o in errore | Una risposta 4xx (tranne 429) equivale a nessun file: tutto è consentito. Un errore 5xx, 429 o di rete fa sospendere a Google la scansione del sito per 12 ore, poi usa l’ultima copia valida per un massimo di 30 giorni. |
| Reindirizzamenti e dimensioni | Google segue almeno cinque reindirizzamenti per il robots.txt, poi lo considera assente. Legge i primi 500 KiB e ignora il resto. |
| Cache | Google in genere memorizza il robots.txt in cache fino a 24 ore, quindi una modifica può richiedere un giorno. |
Fonti: Come Google interpreta la specifica robots.txt e RFC 9309.
Elenco dei crawler
Ogni token è documentato dall’azienda che gestisce il crawler. I crawler cambiano, quindi controlla la pagina dell’operatore prima di affidarti a una regola.
| Token | Operatore | Usato per | Fonte |
|---|---|---|---|
Googlebot | Motori di ricercaAnche per AI Overview e AI Mode | Documentazione ↗ | |
Bingbot | Microsoft | Motori di ricerca | Documentazione ↗ |
Applebot | Apple | Motori di ricercaSpotlight, Siri e Safari; i dati possono anche addestrare i modelli di Apple | Documentazione ↗ |
OAI-SearchBot | OpenAI | Ricerca IA | Documentazione ↗ |
Claude-SearchBot | Anthropic | Ricerca IA | Documentazione ↗ |
PerplexityBot | Perplexity | Ricerca IA | Documentazione ↗ |
Amzn-SearchBot | Amazon | Ricerca IA | Documentazione ↗ |
GPTBot | OpenAI | Addestramento IA | Documentazione ↗ |
ClaudeBot | Anthropic | Addestramento IA | Documentazione ↗ |
Google-Extended | Addestramento IAUn token del robots.txt, non un crawler separato | Documentazione ↗ | |
Applebot-Extended | Apple | Addestramento IAUn token del robots.txt, non un crawler separato | Documentazione ↗ |
meta-externalagent | Meta | Addestramento IA | Documentazione ↗ |
Amazonbot | Amazon | Addestramento IAMigliora i prodotti Amazon; può addestrare i modelli di IA di Amazon | Documentazione ↗ |
CCBot | Common Crawl | Addestramento IA | Documentazione ↗ |
ChatGPT-User | OpenAI | Recuperi su richiesta degli utentiPuò ignorare il robots.txt | Documentazione ↗ |
Claude-User | Anthropic | Recuperi su richiesta degli utenti | Documentazione ↗ |
Perplexity-User | Perplexity | Recuperi su richiesta degli utentiPuò ignorare il robots.txt | Documentazione ↗ |
meta-externalfetcher | Meta | Recuperi su richiesta degli utentiPuò ignorare il robots.txt | Documentazione ↗ |
Passo successivo
Un URL bloccato è un problema solo se volevi che fosse scansionato. Queste guide coprono i casi più comuni.
Sintassi, corrispondenza e gli errori che bloccano più del previsto, come un Disallow: / di troppo.
Il robots.txt per la SEO (in inglese)Rifiutare l’addestramento IA restando citabili nelle risposte di ChatGPT, Claude e Perplexity.
Come bloccare i crawler IA (in inglese)Il robots.txt blocca la scansione, non l’indicizzazione. Per togliere una pagina dai risultati usa noindex.
Noindex o robots.txt (in inglese)Da sapere
Fonti: Google Search Central e RFC 9309.
Inserisci l’URL qui sopra: lo strumento recupera il robots.txt online dell’host e mostra, per ogni crawler, se l’URL è consentito e quale riga decide. Per Googlebot, anche lo strumento Controllo URL di Search Console indica se un URL è bloccato.
No. Google spiega che un URL bloccato può essere indicizzato senza essere scansionato se altre pagine lo linkano, di solito senza descrizione. Per tenere una pagina fuori dai risultati, consenti la scansione e usa un meta tag o un’intestazione noindex.
La regola con il percorso corrispondente più lungo. Se una regola Allow e una Disallow hanno la stessa lunghezza, Google usa quella meno restrittiva, Allow.
Perché il tuo file contiene un gruppo per Googlebot. Un crawler che trova un gruppo con il proprio nome segue solo quello e ignora il gruppo *, quindi ripeti le regole comuni nel gruppo di Googlebot.
Un 404 o un altro 4xx (tranne 429) equivale a nessun robots.txt, quindi tutto può essere scansionato. Un 5xx o un 429 fa sospendere a Google la scansione del sito per 12 ore; dopo usa l’ultima copia valida per un massimo di 30 giorni.
Crawlens scansiona con lo user-agent che scegli e può seguirne le regole robots.txt, segnala le pagine linkate che il robots.txt blocca, e l’analisi dei log del server mostra quali crawler IA hanno davvero richiesto le tue pagine.
Scarica gratis per Windows