Come funziona un motore di ricerca: crawling, rendering, indexing, ranking e retrieval

Nella lezione precedente su cos'è la SEO abbiamo definito la SEO come il lavoro che fai per aiutare un motore di ricerca a trovare, capire e considerare valide le tue pagine. Ora vediamo cosa significano davvero questi tre verbi, fase per fase.

Questo non è un esercizio teorico. Quando una pagina "non si vede su Google", il primo passo per risolvere il problema è capire in quale fase del percorso si è bloccata. Lavorare sul title tag di una pagina che Google non ha ancora nemmeno scaricato è tempo perso; allo stesso modo, controllare il crawling di una pagina che invece è già indicizzata ma semplicemente non abbastanza rilevante per quella query non risolve nulla. Questa lezione ti dà la mappa per capire dove guardare.

## In breve

Un motore di ricerca lavora in due macro-momenti. Il primo è offline, cioè avviene in continuazione, indipendentemente da chi cerca: crawling (scoprire e scaricare le pagine), rendering (eseguire il codice della pagina per vederne il contenuto reale) e indexing (analizzare il contenuto e archiviarlo in un indice enorme). Il secondo è a runtime, cioè avviene nel preciso istante in cui qualcuno digita una ricerca: retrieval (trovare, dentro l'indice, i documenti potenzialmente pertinenti a quella query), ranking (ordinarli per rilevanza e qualità) e serving (costruire e mostrare la pagina dei risultati). Google descrive ufficialmente questo processo come una sequenza di crawling, indexing e serving; qui la scomponiamo in modo più granulare per capire dove intervenire quando qualcosa non funziona.

Come funziona: fase per fase

### 1. Crawling: scoprire e scaricare le pagine

Il crawling è il lavoro di Googlebot, il programma che visita le pagine web e ne scarica il contenuto. Prima però Google deve sapere che una pagina esiste: non esiste un registro centrale di tutte le pagine del web, quindi questo "elenco" viene costruito in continuazione seguendo i link da pagine già conosciute e leggendo le sitemap XML che i siti mettono a disposizione. Questo processo si chiama URL discovery.

Una volta trovato un URL, Googlebot fa una richiesta HTTP al server che lo ospita e gestisce la risposta, inclusi redirect, errori di rete, codici di stato. Google decide algoritmicamente quali siti scansionare, quanto spesso e quante pagine scaricare da ciascuno: è quello che viene chiamato crawl budget. Per la maggior parte dei siti non è un problema da gestire attivamente (ne parliamo in una lezione dedicata più avanti nel corso); diventa rilevante solo su siti molto grandi, con centinaia di migliaia di pagine.

Un dettaglio spesso ignorato: essere scansionati non significa essere indicizzati. Il crawling è solo il primo passo.

2. Rendering: vedere il contenuto reale della pagina

Molte pagine moderne non contengono tutto il loro contenuto nell'HTML grezzo che il server invia per primo: parte del contenuto viene generata da JavaScript, eseguito dal browser (o, nel caso di Google, da un motore di rendering).

Google elabora le pagine JavaScript in tre fasi principali: crawling, rendering e indexing. Dopo il crawling iniziale, se la pagina ha risposto con codice 200, viene messa in una coda di rendering, dove Google Search esegue il JavaScript usando una versione aggiornata di Chromium per generare l'HTML "finale", quello che vedrebbe un utente nel browser.

Il rischio più comune riguarda i siti costruiti con il cosiddetto app shell model: l'HTML iniziale è quasi vuoto, e tutto il contenuto (testi, link, prezzi, prodotti) viene aggiunto solo dopo l'esecuzione di JavaScript. Se qualcosa in quel processo va storto, o se Google incontra difficoltà nell'eseguire lo script, il contenuto reale della pagina potrebbe non arrivare mai alla fase successiva. JavaScript non è di per sé un problema per la SEO; lo diventa quando contenuti critici, link, metadati o markup non sono disponibili nella versione che Google riesce a renderizzare.

### 3. Indexing: analizzare e archiviare

Una volta ottenuto l'HTML renderizzato, Google analizza il contenuto: di cosa parla la pagina, se è affidabile, se è uguale o molto simile ad altre pagine già conosciute (in quel caso Google sceglie una versione "canonica" da mostrare in ricerca, escludendo le altre). Se supera questa analisi, la pagina viene aggiunta all'indice, l'enorme database che Google consulta per rispondere alle ricerche.

Anche qui vale un punto spesso frainteso: essere indicizzati non è garantito. Google può decidere di non indicizzare una pagina che ritiene di scarso valore, duplicata, o che semplicemente non ha ancora avuto il tempo di processare. E anche una pagina tecnicamente perfetta non è al riparo da questo: la qualità percepita del contenuto pesa già in questa fase, prima ancora di arrivare al ranking.

### 4. Retrieval: trovare i documenti candidati

Le prime tre fasi avvengono in continuazione, a prescindere da chi cerca cosa. Le prossime tre avvengono invece nell'istante esatto in cui un utente digita una query.

Il retrieval è il momento in cui, data una ricerca, i sistemi di Google individuano, tra i miliardi di documenti nell'indice, il sottoinsieme di pagine potenzialmente pertinenti a quella specifica query. Non è un semplice confronto di parole: Google interpreta il significato della query (sinonimi, intento, contesto) per recuperare documenti pertinenti anche quando non contengono esattamente le stesse parole digitate dall'utente. Questo concetto tornerà utile più avanti nel corso, quando parleremo di come i sistemi di intelligenza artificiale "recuperano" le fonti da citare: il principio di fondo, trovare i documenti giusti prima di poterli valutare, è lo stesso.

5. Ranking: ordinare per rilevanza

Tra i documenti recuperati, i ranking systems di Google decidono l'ordine in cui mostrarli. Google utilizza sistemi di ranking automatizzati che analizzano molti fattori e segnali, le parole della query, la rilevanza e l'usabilità delle pagine, l'esperienza e affidabilità delle fonti, la localizzazione e le impostazioni di chi cerca, per stabilire quale pagina risponde meglio, non semplicemente quale contiene più volte le parole cercate.

Questi sistemi lavorano soprattutto a livello di singola pagina: avere un sito complessivamente autorevole aiuta, ma non garantisce che ogni pagina di quel sito si posizioni bene, ogni pagina viene valutata anche per i propri meriti.

### 6. Serving: costruire e mostrare i risultati

L'ultima fase è la costruzione della pagina dei risultati (SERP) che l'utente vede: non più solo dieci link blu, ma anche featured snippet, pacchetti locali, risultati video, e oggi anche le AI Overviews. Ne parliamo nel dettaglio nella prossima lezione.

## Perché conta nella SEO

Questa mappa in sei fasi è lo strumento diagnostico più utile che avrai in tutto il corso. Ogni volta che una pagina non performa come ti aspetti, la prima domanda da farti è: in quale fase si sta bloccando?

Se il problema è nel crawling o nel rendering, lavorare sul contenuto o sui link non serve a nulla: Google semplicemente non sta vedendo quella pagina, o non la sta vedendo per intero. Se il problema è nell'indicizzazione, va indagata la qualità o la duplicazione del contenuto. Solo se la pagina è correttamente indicizzata ma non si posiziona bene, il problema è nel ranking, ed è lì che entrano in gioco contenuto, autorevolezza, esperienza utente, di cui parleremo nei prossimi moduli.

## Esempio lampante

Un e-commerce di arredamento lancia una nuova categoria, "sedie da ufficio ergonomiche", costruita con un framework JavaScript senza rendering lato server. Il team pubblica la pagina, aspetta due settimane, e la categoria non compare per nessuna ricerca pertinente, nemmeno per il nome esatto del brand più il prodotto.

Analisi: ispezionando la pagina con lo strumento di controllo URL di Search Console (ne parliamo in una lezione dedicata più avanti), il team scopre che l'HTML che Google ha indicizzato contiene solo un contenitore vuoto: i prodotti, i prezzi e le descrizioni vengono iniettati da JavaScript dopo il caricamento, e nella fase di rendering quel contenuto non è stato acquisito.

Decisione: il team implementa il rendering lato server (server-side rendering) per le pagine di categoria, così che l'HTML iniziale contenga già il contenuto reale, senza dipendere dall'esecuzione di JavaScript da parte di Google.

Risultato atteso: al successivo ciclo di crawling e rendering, Google acquisisce il contenuto reale della pagina, la indicizza correttamente, e la pagina inizia a comparire per le ricerche pertinenti nelle settimane successive, non immediatamente, perché ogni fase richiede il proprio tempo.

## Caso pratico

Un sito editoriale pubblica un nuovo articolo, ma dopo una settimana non compare nemmeno cercando il titolo esatto.

Problema: l'articolo non è indicizzato.

Analisi: l'ispezione URL in Search Console mostra la dicitura "Esclusa da tag 'noindex'".

Decisione: il team scopre che un template del CMS applica erroneamente il tag noindex a tutti gli articoli di una categoria appena creata.

Intervento: si corregge il template, rimuovendo il tag dalle pagine che devono essere indicizzabili.

Risultato atteso: al successivo crawling, Google rileva l'assenza del tag e può procedere con l'indicizzazione, sempre che il contenuto superi anche la valutazione qualitativa di questa fase.

Come farlo: diagnosticare in quale fase si blocca una pagina

1. Verifica che l'URL non sia bloccato da robots.txt e che non stia restituendo un codice di errore (4xx, 5xx) o un redirect a catena.
2. Controlla, con lo strumento di ispezione URL di Search Console, l'HTML che Google ha effettivamente renderizzato: confrontalo con quello che vedi tu nel browser.
3. Se mancano contenuti nella versione renderizzata, il problema è nel rendering: verifica che risorse CSS e JavaScript non siano bloccate e che il contenuto critico non dipenda da interazioni dell'utente (click, scroll infinito) per essere caricato.
4. Se il contenuto è renderizzato correttamente ma la pagina non risulta indicizzata, controlla la presenza di tag noindex, problemi di canonicalizzazione o segnali di contenuto duplicato.
5. Se la pagina è indicizzata ma non compare per le query attese, il problema è nel ranking: qui entrano in gioco rilevanza, qualità e competizione, argomenti dei prossimi moduli del corso.

## Strumenti

Ispezione URL (Search Console): mostra se una pagina è indicizzata, l'HTML renderizzato da Google e eventuali problemi rilevati. È lo strumento principale per diagnosticare le fasi di crawling, rendering e indicizzazione, ne parliamo in dettaglio in una lezione dedicata a Search Console più avanti nel corso.

Operatore di ricerca site:: una verifica rapida e approssimativa di quali pagine di un dominio risultano indicizzate. Utile per un controllo veloce, non per una diagnosi precisa.

Strumenti di test del rendering

(come il Rich Results Test di Google): permettono di vedere l'HTML renderizzato di una pagina specifica, utile per verificare rapidamente se un contenuto generato via JavaScript viene effettivamente acquisito.

## Errori comuni

Confondere "pubblicato" con "indicizzato"

Pubblicare una pagina non garantisce che venga indicizzata, né tantomeno subito.

### Ignorare la differenza tra HTML grezzo e HTML renderizzato

Chi controlla solo il codice sorgente visto dal browser, senza verificare cosa viene effettivamente renderizzato da Google, può avere un falso senso di sicurezza.

Bloccare per errore risorse CSS o JavaScript nel robots.txt

Se Google non può scaricare le risorse necessarie a renderizzare la pagina, potrebbe non vederne il contenuto reale.

Lavorare sul ranking quando il problema è a monte

Ottimizzare title, contenuti o link di una pagina che non è nemmeno indicizzata non produce alcun effetto finché il problema di base non viene risolto.

Credere che si possa "comprare" più crawling

Google non accetta pagamenti per scansionare un sito più spesso o posizionarlo meglio, né garantisce che una pagina venga scansionata, indicizzata o mostrata.

Quando non serve preoccuparsene

Se il tuo sito ha poche centinaia di pagine, il crawl budget quasi certamente non è un problema che meriti attenzione: è rilevante soprattutto per siti molto grandi, con centinaia di migliaia di URL o più.

Allo stesso modo, se una pagina appena pubblicata non compare ancora nei risultati dopo poche ore o pochi giorni, nella maggior parte dei casi non è un'emergenza: l'intero processo, crawling, rendering, indicizzazione, richiede tempo, e intervenire troppo presto (ripubblicando, modificando in continuazione) può creare più confusione che benefici.

## Checklist operativa

• Sai elencare nell'ordine corretto le fasi: crawling, rendering, indexing, retrieval, ranking, serving.
• Sai spiegare la differenza tra HTML grezzo e HTML renderizzato.
• Sai che essere scansionati non garantisce di essere indicizzati, e che essere indicizzati non garantisce di posizionarsi.
• Sai quale strumento usare per vedere l'HTML renderizzato da Google di una tua pagina.
• Di fronte a una pagina che "non si vede", sai in quale fase iniziare a cercare il problema.

## Domande frequenti

Che differenza c'è tra crawling e indexing?

Il crawling è la scoperta e il download di una pagina da parte di Googlebot. L'indexing è l'analisi di quel contenuto e la sua archiviazione nel database di ricerca di Google. Una pagina può essere scansionata (crawling avvenuto) senza mai essere indicizzata, ad esempio se Google la considera duplicata o di scarso valore.

Quanto tempo impiega Google a indicizzare una pagina nuova?

Non c'è un tempo fisso: può variare da poche ore a diverse settimane, in base a fattori come l'autorevolezza del sito, la frequenza con cui Google lo scansiona abitualmente, e la presenza di una sitemap aggiornata.

Il rendering mi riguarda anche se il mio sito non usa molto JavaScript?

Ogni pagina passa comunque dalla fase di rendering, ma per un sito principalmente in HTML statico il rischio di perdere contenuto in questa fase è molto basso. Diventa un tema centrale soprattutto per siti costruiti con framework JavaScript lato client.

## In sintesi

Un motore di ricerca non "vede" il tuo sito in un colpo solo: lo scopre (crawling), lo esegue per vederne il contenuto reale (rendering), lo analizza e archivia (indexing), lo recupera come candidato per una query pertinente (retrieval), lo ordina insieme agli altri candidati (ranking) e infine lo mostra (serving). Ogni fase può interrompere silenziosamente il percorso di una pagina verso i risultati di ricerca: sapere quale fase indagare per prima è la competenza diagnostica più utile che puoi portarti dietro in tutto il resto del corso.

## Cosa imparare dopo

Nella prossima lezione guardiamo da vicino l'ultima fase, il serving: come leggere una pagina dei risultati di Google (la SERP), quali formati diversi dai link organici puoi incontrare, featured snippet, pacchetto locale, AI Overview, e cosa significano per la tua strategia.