Nella lezione su come funziona un motore di ricerca abbiamo accennato al crawl budget come uno dei fattori che determinano quanto spesso e quanto a fondo Google scansiona un sito. Questa lezione approfondisce il tema, con un messaggio centrale che vale la pena anticipare subito: per la maggior parte dei siti, non è un problema su cui vale la pena concentrare energie.
In breve
Il crawl budget è la quantità di risorse — tempo, richieste — che Googlebot dedica alla scansione di un sito in un dato periodo. Diventa un fattore limitante soprattutto per siti con più di 10.000 URL unici, o per siti che generano un numero elevato di URL tramite navigazione a faccette, parametri di ordinamento o paginazione estesa. Per la stragrande maggioranza dei siti più piccoli, il crawl budget semplicemente non è la variabile che limita la visibilità: altri fattori — qualità dei contenuti, architettura, segnali di indicizzazione — contano molto di più.
Come funziona
Google decide algoritmicamente quanto spesso scansionare un sito e quante pagine scaricare, bilanciando l'interesse a scoprire contenuti nuovi o aggiornati con l'obiettivo di non sovraccaricare il server che ospita il sito. Un sito piccolo, con poche centinaia di pagine e una buona reattività del server, viene generalmente scansionato con la frequenza necessaria senza che il crawl budget diventi un vincolo percepibile.
Il problema emerge su siti molto grandi, o su siti che — anche con relativamente poche pagine "reali" — generano un numero enorme di URL attraverso combinazioni di filtri, parametri di tracciamento o paginazione infinita. In questi casi, Googlebot può spendere una quota significativa delle proprie risorse su varianti di scarso valore, sottraendo tempo alla scansione di contenuti nuovi o importanti.
Log file analysis
I log file del server registrano ogni richiesta ricevuta, incluse quelle di Googlebot: analizzarli permette di vedere concretamente quali pagine Google visita davvero, con quale frequenza, e — cosa spesso rivelatrice — quali pagine importanti Google non visita quasi mai, o quali pagine di scarso valore ricevono invece molta attenzione di scansione. È un livello di dettaglio che nessuno strumento esterno può offrire, perché si basa sui dati reali del tuo server, non su stime.
Perché conta nella SEO
Su un sito di piccole o medie dimensioni, ottimizzare il crawl budget senza un problema reale da risolvere è tempo sottratto ad attività con un impatto molto più diretto. Su un sito grande, invece, un crawl budget sprecato su URL di scarso valore può significare che pagine nuove o aggiornate impiegano più tempo a essere scoperte e indicizzate — un ritardo che, su un catalogo che cambia spesso, ha un costo concreto.
Come farlo
- Prima di preoccuparti del crawl budget, verifica quante pagine ha effettivamente il tuo sito: sotto le 10.000 URL, è raramente la priorità.
- Se il sito è grande, controlla il report sulle statistiche di scansione in Search Console per farti un'idea generale di quante richieste Googlebot fa al giorno.
- Se serve un livello di dettaglio maggiore, analizza i log del server per vedere esattamente quali URL vengono scansionati, con quale frequenza, e se ci sono pattern anomali — ad esempio molte richieste su varianti di filtro poco utili.
- Riduci gli sprechi individuati bloccando o consolidando le fonti di URL a basso valore, tema che approfondiamo nella prossima lezione sulla navigazione a faccette.
- Assicurati che le pagine davvero importanti siano facilmente raggiungibili dalla struttura di navigazione, non solo dalla sitemap: la profondità, vista nella lezione sull'architettura del sito, influenza anche la frequenza di scansione.
Errori comuni
Preoccuparsi del crawl budget su un sito piccolo. È probabilmente l'errore di prioritizzazione più comune su questo tema: tempo investito in un problema che, per la stragrande maggioranza dei siti di piccole dimensioni, semplicemente non esiste.
Ignorarlo completamente su un sito molto grande. All'estremo opposto, un e-commerce con centinaia di migliaia di URL generati da filtri e combinazioni di parametri può davvero soffrire di uno spreco sistematico di crawl budget, se il problema non viene mai affrontato.
Analizzare i log una volta sola. Il comportamento di scansione di Google cambia nel tempo, insieme al sito: un'analisi occasionale, specialmente dopo modifiche strutturali importanti, è più utile di un controllo isolato mai ripetuto.
Quando non serve preoccuparsene
Se il tuo sito ha poche centinaia o poche migliaia di pagine, il crawl budget quasi certamente non merita attenzione dedicata: le energie sono meglio investite su architettura, contenuti e segnali di indicizzazione, argomenti già visti o trattati nelle lezioni precedenti di questo modulo.
Domande frequenti
Il crawl budget conta anche per i siti piccoli?
Nella grande maggioranza dei casi no. Diventa un fattore rilevante soprattutto per siti con oltre 10.000 URL, o per siti — anche più piccoli nel numero di contenuti reali — che generano un numero sproporzionato di varianti URL tramite filtri o parametri. Per un sito tipico di piccole o medie dimensioni, non è la priorità su cui concentrarsi.
In sintesi
Il crawl budget è la quantità di risorse che Google dedica alla scansione di un sito, e diventa un vincolo reale solo per siti molto grandi o per siti che generano un numero eccessivo di varianti URL. I log file offrono la vista più dettagliata e concreta su come Googlebot sta effettivamente scansionando il sito, utile soprattutto quando il volume di pagine giustifica l'attenzione a questo tema.
Cosa imparare dopo
Una delle cause più comuni di spreco di crawl budget è proprio la navigazione a faccette, tipica degli e-commerce: nella prossima e ultima lezione di questo modulo vediamo come gestirla senza generare migliaia di URL a basso valore.