Nuova ricercaTechnical SEO & AI Search · 2027Scopri il framework

Scansione e indicizzazione: come i motori trovano le pagine

Come funzionano scansione e indicizzazione, cosa blocca ogni passaggio, come leggere il rapporto sull'indicizzazione e controllare la scansionabilità del sito.

Le guide collegate si aprono in inglese finché non vengono tradotte.

Ogni pagina che si posiziona ha seguito lo stesso percorso: un motore di ricerca ne ha scoperto l’URL, l’ha scaricato, ne ha eseguito il rendering, l’ha giudicato degno di essere tenuto e l’ha memorizzato nel suo indice. Un fallimento in un qualsiasi passaggio impedisce alla pagina di comparire, e la maggior parte dei fallimenti non fa rumore. La pagina semplicemente non c’è mai.

Questa guida spiega ogni passaggio, cosa lo blocca, come leggere i rapporti che ti dà Google e come controllare scansione e indicizzazione su un intero sito. Ogni sezione rimanda a una guida dettagliata.

Qual è la differenza tra scansione e indicizzazione?

La scansione è un motore di ricerca che scarica la tua pagina; l’indicizzazione è il motore che analizza quella pagina e la memorizza perché possa comparire nei risultati. Google descrive la scansione come il momento in cui «Google scarica testi, immagini e video dalle pagine trovate su internet tramite programmi automatizzati chiamati crawler», seguito dall’indicizzazione, in cui analizza i contenuti e stabilisce quale URL è canonico (come funziona la Ricerca Google).

Le due cose possono separarsi:

  • Scansionata, non indicizzata: Google ha scaricato la pagina ma ha deciso di non tenerla, perché l’indicizzazione non è garantita.
  • Indicizzata, non scansionata: una pagina bloccata dal robots.txt può restare indicizzata grazie ai link che puntano a essa, senza i suoi contenuti.

Come passa una pagina dal tuo server all’indice?

Fase Cosa succede Cosa la blocca
Scoperta Il motore di ricerca viene a sapere che l’URL esiste, tramite link, sitemap o invii Nessun link interno, assente dalle sitemap, link aggiunti solo da JavaScript
Scansione Il crawler richiede l’URL Disallow del robots.txt, errori del server, timeout, protezione anti-bot
Rendering La pagina gira in un browser perché gli script aggiungano contenuti Script che falliscono, scadono o richiedono interazione
Indicizzazione Il contenuto viene analizzato e memorizzato, e viene scelto un URL canonico Stato non 200, noindex, canonical verso un altro URL, contenuti duplicati o di scarso valore
Pubblicazione Le pagine indicizzate si posizionano per le query Tutto il resto della SEO

I requisiti tecnici di Google riducono le prime quattro fasi a tre condizioni: «Googlebot non è bloccato.», «La pagina funziona, il che significa che Google riceve un codice di stato HTTP 200 (success).» e «La pagina ha contenuti indicizzabili.»

Come scoprono le pagine i motori di ricerca?

Soprattutto tramite i link. Un crawler che parte dalla tua home e segue i link raggiunge ogni pagina collegata, e niente di ciò che non lo è. I link interni diventano così la leva principale che controlli:

Per le app a pagina singola, la scoperta dipende anche da link veri e da URL che funzionano all’apertura diretta. La guida alla SEO della navigazione delle SPA copre il routing lato client, le modifiche alla History API e i controlli sui deep link.

Anche i contenuti rivelati solo dopo uno scorrimento o un clic possono essere persi. La guida alla SEO del lazy loading spiega come mantenere immagini, prodotti in profondità e pagine a scorrimento infinito scopribili.

Le sitemap XML sono il secondo canale. Secondo Google aiutano soprattutto i siti grandi, i siti nuovi con pochi link esterni e i siti ricchi di media, con questa precisazione: «Una Sitemap consente ai motori di ricerca di trovare gli URL sul tuo sito, ma non garantisce che tutti gli elementi nella Sitemap vengano sottoposti a scansione e indicizzazione.» (panoramica sulle sitemap). Una sitemap piena di redirect, errori e URL noindex è peggio di una corta e accurata. Vedi l’audit della sitemap XML.

Quando l’inventario supera un file, la guida alla SEO dell’indice delle sitemap mostra come dividerlo in sitemap figlie valide e monitorare ogni gruppo.

Dentro ogni file, la guida lastmod della sitemap spiega quando deve cambiare la data di modifica di una pagina e come beccare i generatori che timbrano ogni URL con la data di build.

Cosa impedisce a una pagina di essere scansionata?

Causa Come si vede Controllo di Crawlens
Il robots.txt vieta l’URL Bloccata dal robots.txt Linked pages blocked by robots.txt
Errori del server Risposte 5xx; Google rallenta la scansione Internal pages return 5xx
Timeout, errori DNS o SSL Nessuna risposta Pages did not respond
Firewall o protezione anti-bot 403 o pagine di verifica solo per i crawler Pages PageSpeed Insights could not test spesso lo suggerisce
Non collegata da nessuna parte Mai scoperta seguendo i link Orphan pages
Troppo profonda Scansionata di rado Pages more than 4 clicks from the start
Link solo dopo il rendering Scoperta tardi o mai Links only in rendered HTML
Risposte lente Meno pagine scansionate per visita Slow server response (over 1 second)

Cosa impedisce a una pagina di essere indicizzata?

Causa Cosa controllare Controllo di Crawlens
noindex in un meta tag o header X-Robots-Tag Voluto, o resto dallo staging? Noindex pages
Canonical verso un altro URL L’altro URL è giusto e indicizzabile? Canonicalised pages, Canonical points to a non-200 URL, to a noindex page
Codice di stato non 200 4xx, 5xx o redirect Internal pages return 4xx
Duplicato di un’altra pagina Google sceglie un URL e scarta gli altri Duplicate content
Troppo poco contenuto Pochi motivi per indicizzarla Thin content (under 200 words)
Contenuti solo dopo JavaScript Indicizzazione più lenta, e fallisce se il rendering fallisce Content depends on JavaScript

Le guide dettagliate: noindex o robots.txt, X-Robots-Tag, codici di stato HTTP, gli errori dei tag canonical, i contenuti duplicati, i contenuti scarni e gli errori soft 404.

Quali controlli influiscono sulla scansione, e quali sull’indicizzazione?

Confonderli causa più problemi di indicizzazione di qualsiasi altra cosa.

Controllo Influisce sulla scansione Influisce sull’indicizzazione A cosa serve
Disallow del robots.txt Sì No (gli URL bloccati possono restare indicizzati tramite i link) Tenere i crawler fuori dalle aree senza valore di ricerca: carrelli, ricerca interna, filtri infiniti
noindex (meta o header) No Sì Tenere una pagina fuori dai risultati. La pagina deve restare scansionabile perché la direttiva venga vista
rel="canonical" No Suggerimento Dire quale tra più URL simili dovrebbe essere indicizzato
Redirect 301 / 308 Sposta il crawler Sposta i segnali alla destinazione Ritirare o spostare un URL
404 / 410 Scansionato sempre meno nel tempo Rimosso dall’indice Eliminare una pagina senza sostituto
nofollow sui link interni Trattiene il segnale del link No Raramente serve sui link interni
Sitemap XML Aiuta la scoperta No Elencare gli URL canonici indicizzabili da far trovare

L’errore classico è bloccare una pagina nel robots.txt per toglierla da Google: il crawler non può più vedere il noindex, così l’URL può restare indicizzato. Noindex o robots.txt tratta il caso in dettaglio, e il robots.txt per la SEO copre la sintassi e come i crawler scelgono quali regole applicare. Per verificare un URL con il file online per Googlebot e i principali crawler IA, usa il tester robots.txt gratuito.

La guida all’Indexing API di Google spiega perché le notifiche via API sono limitate alle pagine idonee di offerte di lavoro e dirette streaming, non un sostituto di link e sitemap sui siti normali.

Quando i parametri creano più versioni di una pagina, scegli il controllo in base a cosa cambia in ogni versione. La guida a parametri URL e SEO passa in rassegna tracciamento, ordinamento, paginazione e filtri senza bloccare per sbaglio pagine utili.

Il crawl budget conta per il tuo sito?

Probabilmente no, a meno che il sito sia grande. La guida sul crawl budget di Google è scritta per i siti grandi (oltre 1 milione di URL unici) con contenuti che cambiano con moderata frequenza (una volta a settimana), i siti medi o grandi (oltre 10.000 URL unici) con contenuti che cambiano molto in fretta (ogni giorno), e i siti con molti URL segnalati come Discovered - currently not indexed. Per tutti gli altri, secondo Google, la guida non serve.

Quando conta davvero, il consiglio è smettere di sprecare scansioni: blocca nel robots.txt gli URL da non scansionare, «Restituisci un codice di stato 404 o 410 per le pagine rimosse definitivamente», correggi i soft 404, «Mantieni aggiornate le Sitemap», «Evita lunghe catene di reindirizzamento» e rendi le pagine veloci da caricare.

L’unico modo per vedere dove va davvero il crawl budget sono i log del server: quali URL richiede Googlebot, con quale frequenza e cosa riceve. Vedi l’analisi dei file di log e il crawl budget per i dettagli; il framework SEO tecnico enterprise collega questi risultati ai grandi inventari di URL e ai rilasci.

Per una vista rapida di tendenze delle richieste, disponibilità dell’host, codici di risposta e tipi di Googlebot, leggi il rapporto sulle statistiche di scansione. Mostra tendenze ed esempi di URL; i log restano necessari per uno storico completo richiesta per richiesta.

Come si legge il rapporto sull’indicizzazione delle pagine di Search Console?

Il rapporto sull’indicizzazione delle pagine spiega perché Google non ha indicizzato ogni URL che conosce. Gli stati più frequenti:

Stato Cosa dice Google Cosa fare
Discovered - currently not indexed «La pagina è stata rilevata da Google, ma non ancora scansionata. In genere Google voleva scansionare l’URL ma questo avrebbe sovraccaricato il sito» Controlla velocità ed errori del server; rafforza i link interni verso le pagine
Crawled - currently not indexed «La pagina è stata scansionata da Google ma non indicizzata. Potrà essere indicizzata in futuro oppure no; non serve inviare di nuovo questo URL per la scansione.» Migliora, unisci o rimuovi le pagine scarne e duplicate
Duplicate without user-selected canonical Google ha scelto un’altra pagina come canonica e quindi non pubblicherà questa pagina nella Ricerca. Aggiungi canonical o consolida i duplicati
Alternate page with proper canonical tag «Questa pagina è contrassegnata come alternativa a un’altra pagina (ovvero una pagina AMP con una versione canonica per computer, una versione mobile di una canonica per computer o la versione per computer di una versione canonica mobile). Questa pagina rimanda correttamente alla pagina canonica, che è indicizzata.» Non devi quindi fare niente. Niente, se il canonical è voluto
URL marked ‘noindex’ Google ha incontrato una direttiva noindex e quindi non l’ha indicizzata. Rimuovi il noindex se la pagina deve posizionarsi
URL blocked by robots.txt «Questa pagina è stata bloccata dal file robots.txt del tuo sito.» Consentila se la pagina deve posizionarsi
Indexed, though blocked by robots.txt «La pagina è stata indicizzata nonostante sia bloccata dal file robots.txt del tuo sito web. Google rispetta sempre le istruzioni del file robots.txt, che però non servono a impedire l’indicizzazione se altri siti ospitano link che rimandano alla pagina.» Consenti la scansione e aggiungi noindex, oppure lasciala indicizzare correttamente

Il rapporto dice cosa ha deciso Google, per campione e in ritardo. Una scansione dice lo stato attuale di ogni URL. Usa entrambi. Per i due stati più comuni, vedi crawled - currently not indexed.

Come si controllano scansione e indicizzazione su un intero sito?

  1. Scansiona il sito dalla home rispettando il robots.txt. Tutto ciò che la scansione non raggiunge tramite i link, non lo raggiungono nemmeno i motori. In Crawlens, la tabella degli URL si filtra per indicizzabilità, così vedi ogni URL non indicizzabile con il suo motivo (noindex, canonicalizzato, redirect, errore, bloccato).
  2. Scansiona anche le sitemap. La modalità Sitemap con Also follow links attivo confronta le due: gli URL solo nella sitemap sono orfani, e gli URL della sitemap non indicizzabili compaiono come Non-indexable URLs in sitemaps.
  3. Esegui il rendering di JavaScript sui siti resi lato client, per vedere link e contenuti che esistono solo dopo gli script.
  4. Unisci Search Console. Tre controlli mostrano dove scansione e Google divergono: URLs with impressions the crawl did not find, Pages with search traffic are not indexable e Indexable pages with no search impressions.
  5. Importa i log del server per vedere cosa fa davvero Googlebot: Indexable pages Googlebot did not crawl, URLs Googlebot crawls that the crawl did not find e Googlebot gets errors.
  6. Correggi, scansiona di nuovo e confronta. Poi conferma in Search Console nelle settimane dopo: secondo Google: «La scansione può richiedere da alcuni giorni ad alcune settimane.» (chiedere a Google di riscansionare).

I motori di ricerca di AI usano i loro crawler con le loro regole, e la maggior parte non esegue il rendering di JavaScript. La checklist di preparazione alla ricerca AI copre cosa cambia per loro. Per dove stanno scansione e indicizzazione in un audit completo, vedi la guida all’audit SEO tecnico.

Checklist di scansione e indicizzazione

Scoperta

  • Ogni pagina importante collegata da almeno un’altra pagina, meglio se più
  • Pagine importanti entro quattro clic dalla home
  • Navigazione e link chiave presenti nell’HTML originale
  • Le sitemap elencano solo URL 200 canonici indicizzabili, e sono inviate in Search Console

Scansione

  • Il robots.txt blocca solo aree senza valore di ricerca
  • Né errori 5xx, né timeout, né blocchi anti-bot per i crawler dei motori
  • Il server risponde in meno di un secondo
  • Nessuna catena di redirect; le pagine rimosse restituiscono 404 o 410

Indicizzazione

  • Nessun noindex involontario in meta tag o header
  • I canonical puntano a URL 200 indicizzabili
  • Duplicati consolidati; pagine scarne migliorate, unite o rimosse
  • Contenuti principali presenti senza JavaScript, o rendering verificato

Verifica

  • Rapporto sull’indicizzazione delle pagine rivisto, stato per stato
  • Scansione unita ai dati di Search Console
  • Log del server controllati per errori di Googlebot e pagine non scansionate (siti grandi)
  • Nuova scansione e confronto dopo le correzioni

Tutte le guide su Scansione e indicizzazione

Domande frequenti

Qual è la differenza tra scansione e indicizzazione?

La scansione è quando il bot di un motore di ricerca scarica una pagina. L'indicizzazione è quando il motore di ricerca analizza quella pagina e la memorizza perché possa comparire nei risultati. Una pagina può essere scansionata ma non indicizzata e, se bloccata dal robots.txt ma collegata da altrove, essere indicizzata senza essere stata scansionata.

Quanto impiega Google a indicizzare una nuova pagina?

Secondo Google, la scansione può richiedere da pochi giorni a qualche settimana. Un link da pagine interne forti, l'inserimento nella sitemap e una richiesta di indicizzazione nello strumento Controllo URL di Search Console possono aiutare, ma niente garantisce l'indicizzazione.

Perché la mia pagina è scansionata ma non indicizzata?

«Crawled - currently not indexed» significa che Google ha scaricato la pagina ma ha deciso di non indicizzarla per ora. Le cause comuni sono contenuti duplicati o quasi duplicati, pagine scarne o pagine che Google non ritiene abbastanza utili. Migliora o consolida la pagina; secondo Google non serve inviarla di nuovo.

Una sitemap garantisce l'indicizzazione delle mie pagine?

No. Secondo Google, una sitemap non garantisce che tutti i suoi elementi vengano scansionati e indicizzati. Aiuta la scoperta, soprattutto sui siti grandi o nuovi, ma le pagine devono restare indicizzabili e meritare l'indicizzazione.

Il robots.txt può tenere una pagina fuori da Google?

Non in modo affidabile. Il robots.txt ferma la scansione, non l'indicizzazione: una pagina bloccata può restare indicizzata grazie ai link che puntano a essa, senza i suoi contenuti. Per tenere una pagina fuori dall'indice, lasciala scansionabile e aggiungi una direttiva noindex.

· Fondatore di Crawlens

Dien sviluppa Crawlens, un crawler desktop per gli audit SEO tecnici, e scrive di scansione, indicizzazione, rendering e dati di Search Console.

Fai l’audit del tuo sito con Crawlens

Scansiona, esegui 70 controlli e leggili accanto ai dati di Search Console e Core Web Vitals.

Scarica gratis per Windows