Ottenere l’elenco completo delle pagine di un sito web richiede di incrociare diverse fonti di dati, poiché nessun metodo isolato copre la totalità degli URL esistenti. La sitemap XML, la Search Console, gli strumenti di crawling e persino i file di log del server forniscono ciascuno una fotografia parziale. Comprendere le discrepanze tra queste fonti consente di scegliere la giusta combinazione a seconda dell’obiettivo: audit SEO, migrazione, inventario dei contenuti o semplice verifica.
Sitemap XML, Search Console e crawling: cosa copre realmente ogni fonte
Il riflesso più comune consiste nell’aprire il file sitemap.xml di un dominio. Questo file dichiara gli URL che il proprietario del sito desidera vengano esplorati. Non riflette né lo stato di indicizzazione né l’esistenza di pagine orfane assenti nel collegamento interno.
| Fonte | Cosa registra | Limite principale |
|---|---|---|
| Sitemap XML | URL dichiarati dal webmaster | Pagine orfane e URL non dichiarate assenti |
| Google Search Console | URL conosciute da Google (esplorate o indicizzate) | Esportazione limitata a 1.000 righe per rapporto, dati conservati per 16 mesi |
| Crawl SEO (Screaming Frog, Sitebulb, ecc.) | URL accessibili tramite il collegamento interno | Pagine protette da autenticazione o bloccate da robots.txt ignorate |
| Log del server | Tutti gli URL che hanno ricevuto almeno una richiesta HTTP | Richiede accesso tecnico al server, volume di dati a volte massiccio |
La tabella evidenzia un punto spesso sottovalutato: nessuna fonte unica garantisce un inventario esaustivo. Una sitemap può omettere URL, la Search Console limita le sue esportazioni e un crawl segue solo i link che scopre.
Per illustrare questa complementarità, si può consultare l’elenco delle pagine di Net Addict, che mostra come una sitemap strutturata organizzi gli URL per categorie e faciliti la lettura della struttura di un sito.
Discrepanze tra sitemap trattata e pagine realmente indicizzate
Un errore comune consiste nell’assimilare il trattamento di una sitemap da parte di Google all’indicizzazione del suo contenuto. Una sitemap con stato “riuscito” significa solo che il file è stato letto, non che gli URL in essa contenuti siano stati esplorati o aggiunti all’indice.
Google applica poi i propri criteri di qualità e budget di crawling per decidere quali URL meritano una visita. Pagine a basso valore aggiunto, contenuti duplicati o segnali tecnici sfavorevoli (tempo di risposta elevato, direttive noindex) possono impedire l’indicizzazione anche se l’URL figura nella sitemap.
Il tag lastmod: un segnale di freschezza a condizione
Google ignora i tag changefreq e priority nelle sitemap. Il tag lastmod è preso in considerazione solo se riflette una modifica sostanziale del contenuto. Aggiornamenti artificiali o cosmetici (cambiare una virgola, aggiornare un timestamp senza toccare il testo) possono ridurre la fiducia accordata a questo segnale.
Una sitemap ben tenuta rimane uno strumento di scoperta, non un leva di indicizzazione forzata. Per individuare gli URL effettivamente indicizzati, il rapporto “Pagine” della Search Console rimane il riferimento, nonostante il suo limite di esportazione.
Crawl SEO versus operatore site: di Google
L’operatore di ricerca site:domaine.com in Google forniva un tempo una stima del numero di pagine indicizzate. Questo metodo ha perso affidabilità da quando Google non mostra più il numero totale di risultati in modo sistematico.
Uno strumento di crawl SEO esplora il sito seguendo i link interni ed esterni, quindi compila l’elenco degli URL scoperti con il loro codice HTTP, la loro profondità di clic, i loro tag meta e il loro stato di indicizzabilità. La differenza è strutturante:
- L’operatore site: interroga l’indice di Google, che può contenere pagine eliminate o escludere altre perfettamente accessibili
- Il crawl SEO esplora il sito così com’è in un dato momento, ignorando ciò che Google sa o non sa
- Incrociare i due consente di individuare le pagine indicizzate ma eliminate dal sito (errori 404 nell’indice) e le pagine esistenti ma assenti dall’indice
Per un audit di migrazione o una pulizia dei contenuti, il crawl SEO fornisce una base più affidabile rispetto all’operatore di ricerca.
IndexNow e notifica proattiva degli URL modificati
Bing propone un approccio complementare tramite il protocollo IndexNow. Piuttosto che attendere il passaggio del robot di esplorazione, il webmaster notifica direttamente gli URL aggiunti, modificati o eliminati. Una richiesta IndexNow può inviare fino a 10.000 URL in una sola volta.
Questo protocollo non sostituisce la sitemap, che rimane l’inventario strutturale del sito. Agisce come un canale di aggiornamento in tempo reale, particolarmente utile per i siti con alta frequenza di pubblicazione o per i negozi online le cui schede prodotto cambiano regolarmente.
Quando combinare sitemap e IndexNow
La sitemap copre la totalità degli URL esistenti e funge da riferimento per i crawler. IndexNow segnala i cambiamenti recenti per accelerare la loro considerazione. I due si completano senza sovrapporsi: il primo offre la visione d’insieme, il secondo la reattività.
Metodo pratico per incrociare le fonti e ottenere un elenco completo
Il metodo più affidabile consiste nel fondere i dati di diverse fonti in un foglio di calcolo o in uno strumento di audit, quindi identificare le discrepanze.
- Esportare gli URL dalla sitemap XML (spesso accessibile tramite dominio.com/sitemap.xml o dominio.com/sitemap_index.xml)
- Esportare gli URL conosciuti dalla Search Console (rapporto “Pagine”, tenendo presente il limite di 1.000 righe per esportazione)
- Avviare un crawl completo del sito con uno strumento dedicato per catturare gli URL accessibili tramite collegamento interno
- Confrontare le tre liste per isolare gli URL orfani, le pagine non dichiarate nella sitemap e gli URL indicizzati ma con errore
Gli URL presenti nel crawl ma assenti nella sitemap sono candidati immediati per l’aggiunta. Gli URL presenti nella Search Console ma che restituiscono un errore 404 durante il crawl segnalano un problema di manutenzione.
L’inventario completo delle pagine di un sito rimane un esercizio di incrocio. La qualità dell’elenco finale dipende meno dallo strumento scelto che dalla rigorosità con cui si incrociano le fonti, ognuna compensando i punti ciechi dell’altra.
