Disallow non è Noindex: il caso delle chat di Claude indicizzate da Google
Matt G. Southern su Search Engine Journal analizza il caso delle chat di Claude indicizzate da Google, evidenziando la differenza cruciale tra le direttive robots.txt e meta tag.
Il caso delle chat di Claude indicizzate da Google dimostra che la direttiva 'Disallow' nel robots.txt non impedisce l'indicizzazione di un URL se i link sono noti, ma blocca la scansione dei contenuti, rendendo necessario il 'noindex' per escludere realmente le pagine dall'indice.
Secondo Matt G. Southern di Search Engine Journal, il recente caso delle chat di Claude AI indicizzate da Google illustra in modo lampante la differenza tra le direttive Disallow nel file robots.txt e il meta tag noindex.
Molte delle pagine di chat di Claude sono apparse nell'indice di Google, nonostante il file robots.txt di Anthropic (la società dietro Claude) includesse una direttiva Disallow per la directory /chat/. Tuttavia, un'analisi più approfondita ha rivelato che queste pagine contenevano anche un header HTTP X-Robots-Tag: noindex.
Il problema sorge perché Disallow impedisce a Googlebot di scansionare i contenuti di una pagina, ma non impedisce a Google di indicizzare l'URL se ne viene a conoscenza tramite link esterni. Se Google non può scansionare la pagina, non può vedere il meta tag noindex o l'header X-Robots-Tag: noindex.
Di conseguenza, Google ha indicizzato l'URL, ma senza poter accedere al contenuto o alla direttiva noindex presente al suo interno. Questo ha portato all'indicizzazione di pagine con frammenti di testo generici, anziché i contenuti specifici delle chat.
La lezione fondamentale è che per escludere una pagina dall'indice di Google, è necessario consentire a Googlebot di scansionarla per poter leggere la direttiva noindex (sia essa un meta tag o un header HTTP). L'uso combinato di Disallow e noindex per lo stesso URL è controproducente e può portare all'indicizzazione indesiderata dell'URL stesso.
Fonte: Indexed Claude Chats Show Why Disallow Is Not Noindex
Pillar e servizi collegati a questa voce.
