Le guide collegate si aprono in inglese finché non vengono tradotte.
Ogni pagina che si posiziona ha seguito lo stesso percorso: un motore di ricerca ne ha scoperto l’URL, l’ha scaricato, ne ha eseguito il rendering, l’ha giudicato degno di essere tenuto e l’ha memorizzato nel suo indice. Un fallimento in un qualsiasi passaggio impedisce alla pagina di comparire, e la maggior parte dei fallimenti non fa rumore. La pagina semplicemente non c’è mai.
Questa guida spiega ogni passaggio, cosa lo blocca, come leggere i rapporti che ti dà Google e come controllare scansione e indicizzazione su un intero sito. Ogni sezione rimanda a una guida dettagliata.
Qual è la differenza tra scansione e indicizzazione?
La scansione è un motore di ricerca che scarica la tua pagina; l’indicizzazione è il motore che analizza quella pagina e la memorizza perché possa comparire nei risultati. Google descrive la scansione come il momento in cui «Google scarica testi, immagini e video dalle pagine trovate su internet tramite programmi automatizzati chiamati crawler», seguito dall’indicizzazione, in cui analizza i contenuti e stabilisce quale URL è canonico (come funziona la Ricerca Google).
Le due cose possono separarsi:
- Scansionata, non indicizzata: Google ha scaricato la pagina ma ha deciso di non tenerla, perché l’indicizzazione non è garantita.
- Indicizzata, non scansionata: una pagina bloccata dal robots.txt può restare indicizzata grazie ai link che puntano a essa, senza i suoi contenuti.
Come passa una pagina dal tuo server all’indice?
| Fase | Cosa succede | Cosa la blocca |
|---|---|---|
| Scoperta | Il motore di ricerca viene a sapere che l’URL esiste, tramite link, sitemap o invii | Nessun link interno, assente dalle sitemap, link aggiunti solo da JavaScript |
| Scansione | Il crawler richiede l’URL | Disallow del robots.txt, errori del server, timeout, protezione anti-bot |
| Rendering | La pagina gira in un browser perché gli script aggiungano contenuti | Script che falliscono, scadono o richiedono interazione |
| Indicizzazione | Il contenuto viene analizzato e memorizzato, e viene scelto un URL canonico | Stato non 200, noindex, canonical verso un altro URL, contenuti duplicati o di scarso valore |
| Pubblicazione | Le pagine indicizzate si posizionano per le query | Tutto il resto della SEO |
I requisiti tecnici di Google riducono le prime quattro fasi a tre condizioni: «Googlebot non è bloccato.», «La pagina funziona, il che significa che Google riceve un codice di stato HTTP 200 (success).» e «La pagina ha contenuti indicizzabili.»
Come scoprono le pagine i motori di ricerca?
Soprattutto tramite i link. Un crawler che parte dalla tua home e segue i link raggiunge ogni pagina collegata, e niente di ciò che non lo è. I link interni diventano così la leva principale che controlli:
- Pagine orfane, senza link interni, dipendenti del tutto da sitemap o link esterni. Vedi le pagine orfane.
- Pagine profonde, a molti clic dalla home, scansionate più di rado. Vedi l’audit dei link interni.
- Link aggiunti solo da JavaScript, scoperti più tardi da Google e mai dai crawler senza rendering. Vedi la guida SEO per JavaScript per rendering e scoperta, e il confronto tra HTML originale e dopo il rendering per il confronto.
Per le app a pagina singola, la scoperta dipende anche da link veri e da URL che funzionano all’apertura diretta. La guida alla SEO della navigazione delle SPA copre il routing lato client, le modifiche alla History API e i controlli sui deep link.
Anche i contenuti rivelati solo dopo uno scorrimento o un clic possono essere persi. La guida alla SEO del lazy loading spiega come mantenere immagini, prodotti in profondità e pagine a scorrimento infinito scopribili.
Le sitemap XML sono il secondo canale. Secondo Google aiutano soprattutto i siti grandi, i siti nuovi con pochi link esterni e i siti ricchi di media, con questa precisazione: «Una Sitemap consente ai motori di ricerca di trovare gli URL sul tuo sito, ma non garantisce che tutti gli elementi nella Sitemap vengano sottoposti a scansione e indicizzazione.» (panoramica sulle sitemap). Una sitemap piena di redirect, errori e URL noindex è peggio di una corta e accurata. Vedi l’audit della sitemap XML.
Quando l’inventario supera un file, la guida alla SEO dell’indice delle sitemap mostra come dividerlo in sitemap figlie valide e monitorare ogni gruppo.
Dentro ogni file, la guida lastmod della sitemap spiega quando deve cambiare la data di modifica di una pagina e come beccare i generatori che timbrano ogni URL con la data di build.
Cosa impedisce a una pagina di essere scansionata?
| Causa | Come si vede | Controllo di Crawlens |
|---|---|---|
| Il robots.txt vieta l’URL | Bloccata dal robots.txt | Linked pages blocked by robots.txt |
| Errori del server | Risposte 5xx; Google rallenta la scansione | Internal pages return 5xx |
| Timeout, errori DNS o SSL | Nessuna risposta | Pages did not respond |
| Firewall o protezione anti-bot | 403 o pagine di verifica solo per i crawler | Pages PageSpeed Insights could not test spesso lo suggerisce |
| Non collegata da nessuna parte | Mai scoperta seguendo i link | Orphan pages |
| Troppo profonda | Scansionata di rado | Pages more than 4 clicks from the start |
| Link solo dopo il rendering | Scoperta tardi o mai | Links only in rendered HTML |
| Risposte lente | Meno pagine scansionate per visita | Slow server response (over 1 second) |
Cosa impedisce a una pagina di essere indicizzata?
| Causa | Cosa controllare | Controllo di Crawlens |
|---|---|---|
noindex in un meta tag o header X-Robots-Tag |
Voluto, o resto dallo staging? | Noindex pages |
| Canonical verso un altro URL | L’altro URL è giusto e indicizzabile? | Canonicalised pages, Canonical points to a non-200 URL, to a noindex page |
| Codice di stato non 200 | 4xx, 5xx o redirect | Internal pages return 4xx |
| Duplicato di un’altra pagina | Google sceglie un URL e scarta gli altri | Duplicate content |
| Troppo poco contenuto | Pochi motivi per indicizzarla | Thin content (under 200 words) |
| Contenuti solo dopo JavaScript | Indicizzazione più lenta, e fallisce se il rendering fallisce | Content depends on JavaScript |
Le guide dettagliate: noindex o robots.txt, X-Robots-Tag, codici di stato HTTP, gli errori dei tag canonical, i contenuti duplicati, i contenuti scarni e gli errori soft 404.
Quali controlli influiscono sulla scansione, e quali sull’indicizzazione?
Confonderli causa più problemi di indicizzazione di qualsiasi altra cosa.
| Controllo | Influisce sulla scansione | Influisce sull’indicizzazione | A cosa serve |
|---|---|---|---|
Disallow del robots.txt |
Sì | No (gli URL bloccati possono restare indicizzati tramite i link) | Tenere i crawler fuori dalle aree senza valore di ricerca: carrelli, ricerca interna, filtri infiniti |
noindex (meta o header) |
No | Sì | Tenere una pagina fuori dai risultati. La pagina deve restare scansionabile perché la direttiva venga vista |
rel="canonical" |
No | Suggerimento | Dire quale tra più URL simili dovrebbe essere indicizzato |
| Redirect 301 / 308 | Sposta il crawler | Sposta i segnali alla destinazione | Ritirare o spostare un URL |
| 404 / 410 | Scansionato sempre meno nel tempo | Rimosso dall’indice | Eliminare una pagina senza sostituto |
nofollow sui link interni |
Trattiene il segnale del link | No | Raramente serve sui link interni |
| Sitemap XML | Aiuta la scoperta | No | Elencare gli URL canonici indicizzabili da far trovare |
L’errore classico è bloccare una pagina nel robots.txt per toglierla da Google: il crawler non può più vedere il noindex, così l’URL può restare indicizzato. Noindex o robots.txt tratta il caso in dettaglio, e il robots.txt per la SEO copre la sintassi e come i crawler scelgono quali regole applicare. Per verificare un URL con il file online per Googlebot e i principali crawler IA, usa il tester robots.txt gratuito.
La guida all’Indexing API di Google spiega perché le notifiche via API sono limitate alle pagine idonee di offerte di lavoro e dirette streaming, non un sostituto di link e sitemap sui siti normali.
Quando i parametri creano più versioni di una pagina, scegli il controllo in base a cosa cambia in ogni versione. La guida a parametri URL e SEO passa in rassegna tracciamento, ordinamento, paginazione e filtri senza bloccare per sbaglio pagine utili.
Il crawl budget conta per il tuo sito?
Probabilmente no, a meno che il sito sia grande. La guida sul crawl budget di Google è scritta per i siti grandi (oltre 1 milione di URL unici) con contenuti che cambiano con moderata frequenza (una volta a settimana), i siti medi o grandi (oltre 10.000 URL unici) con contenuti che cambiano molto in fretta (ogni giorno), e i siti con molti URL segnalati come Discovered - currently not indexed. Per tutti gli altri, secondo Google, la guida non serve.
Quando conta davvero, il consiglio è smettere di sprecare scansioni: blocca nel robots.txt gli URL da non scansionare, «Restituisci un codice di stato 404 o 410 per le pagine rimosse definitivamente», correggi i soft 404, «Mantieni aggiornate le Sitemap», «Evita lunghe catene di reindirizzamento» e rendi le pagine veloci da caricare.
L’unico modo per vedere dove va davvero il crawl budget sono i log del server: quali URL richiede Googlebot, con quale frequenza e cosa riceve. Vedi l’analisi dei file di log e il crawl budget per i dettagli; il framework SEO tecnico enterprise collega questi risultati ai grandi inventari di URL e ai rilasci.
Per una vista rapida di tendenze delle richieste, disponibilità dell’host, codici di risposta e tipi di Googlebot, leggi il rapporto sulle statistiche di scansione. Mostra tendenze ed esempi di URL; i log restano necessari per uno storico completo richiesta per richiesta.
Come si legge il rapporto sull’indicizzazione delle pagine di Search Console?
Il rapporto sull’indicizzazione delle pagine spiega perché Google non ha indicizzato ogni URL che conosce. Gli stati più frequenti:
| Stato | Cosa dice Google | Cosa fare |
|---|---|---|
| Discovered - currently not indexed | «La pagina è stata rilevata da Google, ma non ancora scansionata. In genere Google voleva scansionare l’URL ma questo avrebbe sovraccaricato il sito» | Controlla velocità ed errori del server; rafforza i link interni verso le pagine |
| Crawled - currently not indexed | «La pagina è stata scansionata da Google ma non indicizzata. Potrà essere indicizzata in futuro oppure no; non serve inviare di nuovo questo URL per la scansione.» | Migliora, unisci o rimuovi le pagine scarne e duplicate |
| Duplicate without user-selected canonical | Google ha scelto un’altra pagina come canonica e quindi non pubblicherà questa pagina nella Ricerca. | Aggiungi canonical o consolida i duplicati |
| Alternate page with proper canonical tag | «Questa pagina è contrassegnata come alternativa a un’altra pagina (ovvero una pagina AMP con una versione canonica per computer, una versione mobile di una canonica per computer o la versione per computer di una versione canonica mobile). Questa pagina rimanda correttamente alla pagina canonica, che è indicizzata.» Non devi quindi fare niente. | Niente, se il canonical è voluto |
| URL marked ‘noindex’ | Google ha incontrato una direttiva noindex e quindi non l’ha indicizzata. | Rimuovi il noindex se la pagina deve posizionarsi |
| URL blocked by robots.txt | «Questa pagina è stata bloccata dal file robots.txt del tuo sito.» | Consentila se la pagina deve posizionarsi |
| Indexed, though blocked by robots.txt | «La pagina è stata indicizzata nonostante sia bloccata dal file robots.txt del tuo sito web. Google rispetta sempre le istruzioni del file robots.txt, che però non servono a impedire l’indicizzazione se altri siti ospitano link che rimandano alla pagina.» | Consenti la scansione e aggiungi noindex, oppure lasciala indicizzare correttamente |
Il rapporto dice cosa ha deciso Google, per campione e in ritardo. Una scansione dice lo stato attuale di ogni URL. Usa entrambi. Per i due stati più comuni, vedi crawled - currently not indexed.
Come si controllano scansione e indicizzazione su un intero sito?
- Scansiona il sito dalla home rispettando il robots.txt. Tutto ciò che la scansione non raggiunge tramite i link, non lo raggiungono nemmeno i motori. In Crawlens, la tabella degli URL si filtra per indicizzabilità, così vedi ogni URL non indicizzabile con il suo motivo (noindex, canonicalizzato, redirect, errore, bloccato).
- Scansiona anche le sitemap. La modalità Sitemap con Also follow links attivo confronta le due: gli URL solo nella sitemap sono orfani, e gli URL della sitemap non indicizzabili compaiono come Non-indexable URLs in sitemaps.
- Esegui il rendering di JavaScript sui siti resi lato client, per vedere link e contenuti che esistono solo dopo gli script.
- Unisci Search Console. Tre controlli mostrano dove scansione e Google divergono: URLs with impressions the crawl did not find, Pages with search traffic are not indexable e Indexable pages with no search impressions.
- Importa i log del server per vedere cosa fa davvero Googlebot: Indexable pages Googlebot did not crawl, URLs Googlebot crawls that the crawl did not find e Googlebot gets errors.
- Correggi, scansiona di nuovo e confronta. Poi conferma in Search Console nelle settimane dopo: secondo Google: «La scansione può richiedere da alcuni giorni ad alcune settimane.» (chiedere a Google di riscansionare).
I motori di ricerca di AI usano i loro crawler con le loro regole, e la maggior parte non esegue il rendering di JavaScript. La checklist di preparazione alla ricerca AI copre cosa cambia per loro. Per dove stanno scansione e indicizzazione in un audit completo, vedi la guida all’audit SEO tecnico.
Checklist di scansione e indicizzazione
Scoperta
- Ogni pagina importante collegata da almeno un’altra pagina, meglio se più
- Pagine importanti entro quattro clic dalla home
- Navigazione e link chiave presenti nell’HTML originale
- Le sitemap elencano solo URL 200 canonici indicizzabili, e sono inviate in Search Console
Scansione
- Il robots.txt blocca solo aree senza valore di ricerca
- Né errori 5xx, né timeout, né blocchi anti-bot per i crawler dei motori
- Il server risponde in meno di un secondo
- Nessuna catena di redirect; le pagine rimosse restituiscono 404 o 410
Indicizzazione
- Nessun noindex involontario in meta tag o header
- I canonical puntano a URL 200 indicizzabili
- Duplicati consolidati; pagine scarne migliorate, unite o rimosse
- Contenuti principali presenti senza JavaScript, o rendering verificato
Verifica
- Rapporto sull’indicizzazione delle pagine rivisto, stato per stato
- Scansione unita ai dati di Search Console
- Log del server controllati per errori di Googlebot e pagine non scansionate (siti grandi)
- Nuova scansione e confronto dopo le correzioni
Tutte le guide su Scansione e indicizzazione
- Google Indexing API SEO: who can use it and what it cannot doThe Google Indexing API is limited to qualifying job posting and livestream pages. Learn its real use cases, notification types and alternatives.
- HTTP status codes for SEO: what 200, 301, 404, 410 and 5xx mean for GoogleHow Google treats each HTTP status code: which can be indexed, which pass canonical signals, which slow crawling, and how to audit them across a site.
- Search Console Crawl Stats report: what the charts actually tell youRead host status, response codes, crawl purpose and Googlebot type in Search Console Crawl Stats, then know when URL inspection or logs are needed.
- Sitemap lastmod: when to update it and how to audit itLearn which page changes deserve a new XML sitemap lastmod date, how to catch fake timestamps at scale, and what Google actually does with the tag.
- URL parameters and SEO: which URLs should Google crawl and index?Audit tracking, sorting, session and filter parameters without blocking valuable pages. Learn when to use canonical tags, redirects, robots.txt or a clean URL.
- X-Robots-Tag: how to use the HTTP header for noindex and moreWhat the X-Robots-Tag header does, when to use it instead of a meta tag (PDFs, images, whole folders), the rules it supports, and how to find it on a site.
- Canonical tag errors: how to find and fix themCanonicals pointing to redirects, errors or noindex pages, multiple canonicals and missing ones. How to audit rel=canonical across a site and fix what's broken.
- Crawled - currently not indexed: why it happens and how to fix itWhat Crawled and Discovered - currently not indexed mean in Search Console, when they're a real problem, how to find the cause, and how to fix it at scale.
- Internal linking audit: click depth, weak pages and dead endsHow to audit internal links across a site: pages buried too deep, pages with one link, dead ends, internal nofollow and broken links.
- Noindex vs robots.txt: which to use, and the mistakes that hide pagesRobots.txt controls crawling; noindex controls indexing. How each works, why combining them backfires, and how to find pages hidden or exposed by mistake.
- Orphan pages: how to find them and what to do with themOrphan pages have no internal links pointing to them, so users and crawlers struggle to find them. How to find them with sitemaps, Search Console and logs.
- Robots.txt for SEO: syntax, examples and the mistakes that block sitesHow robots.txt works, how crawlers pick which rules apply, copy-ready examples, what happens when the file fails to load, and how to test it across a site.
- Soft 404 errors: what they are and how to fix themWhy Google reports pages that return 200 as soft 404s, the usual causes (empty pages, error messages, homepage redirects) and how to find and fix them.
- XML sitemap audit: what to check and how to fix itSitemaps full of redirects, errors and noindex pages lose Google's trust. How to audit XML sitemaps against a crawl and keep only indexable URLs.
Domande frequenti
Qual è la differenza tra scansione e indicizzazione?
La scansione è quando il bot di un motore di ricerca scarica una pagina. L'indicizzazione è quando il motore di ricerca analizza quella pagina e la memorizza perché possa comparire nei risultati. Una pagina può essere scansionata ma non indicizzata e, se bloccata dal robots.txt ma collegata da altrove, essere indicizzata senza essere stata scansionata.
Quanto impiega Google a indicizzare una nuova pagina?
Secondo Google, la scansione può richiedere da pochi giorni a qualche settimana. Un link da pagine interne forti, l'inserimento nella sitemap e una richiesta di indicizzazione nello strumento Controllo URL di Search Console possono aiutare, ma niente garantisce l'indicizzazione.
Perché la mia pagina è scansionata ma non indicizzata?
«Crawled - currently not indexed» significa che Google ha scaricato la pagina ma ha deciso di non indicizzarla per ora. Le cause comuni sono contenuti duplicati o quasi duplicati, pagine scarne o pagine che Google non ritiene abbastanza utili. Migliora o consolida la pagina; secondo Google non serve inviarla di nuovo.
Una sitemap garantisce l'indicizzazione delle mie pagine?
No. Secondo Google, una sitemap non garantisce che tutti i suoi elementi vengano scansionati e indicizzati. Aiuta la scoperta, soprattutto sui siti grandi o nuovi, ma le pagine devono restare indicizzabili e meritare l'indicizzazione.
Il robots.txt può tenere una pagina fuori da Google?
Non in modo affidabile. Il robots.txt ferma la scansione, non l'indicizzazione: una pagina bloccata può restare indicizzata grazie ai link che puntano a essa, senza i suoi contenuti. Per tenere una pagina fuori dall'indice, lasciala scansionabile e aggiungi una direttiva noindex.