Obtener la lista completa de las páginas de un sitio web implica cruzar varias fuentes de datos, ya que ningún método aislado cubre la totalidad de las URL existentes. El sitemap XML, la Search Console, las herramientas de rastreo e incluso los archivos de logs del servidor ofrecen cada uno una fotografía parcial. Comprender las discrepancias entre estas fuentes permite elegir la combinación adecuada según el objetivo: auditoría SEO, migración, inventario de contenido o simple verificación.
Sitemap XML, Search Console y rastreo: lo que cada fuente cubre realmente
El reflejo más común consiste en abrir el archivo sitemap.xml de un dominio. Este archivo declara las URL que el propietario del sitio desea que sean exploradas. No refleja ni el estado de indexación ni la existencia de páginas huérfanas ausentes del enlazado interno.
| Fuente | Lo que registra | Límite principal |
|---|---|---|
| Sitemap XML | URL declaradas por el webmaster | Páginas huérfanas y URL no declaradas ausentes |
| Google Search Console | URL conocidas por Google (exploradas o indexadas) | Exportación limitada a 1,000 filas por informe, datos conservados 16 meses |
| Rastreo SEO (Screaming Frog, Sitebulb, etc.) | URL accesibles a través del enlazado interno | Páginas protegidas por autenticación o bloqueadas por robots.txt ignoradas |
| Logs del servidor | Cualquier URL que haya recibido al menos una solicitud HTTP | Requiere acceso técnico al servidor, volumen de datos a veces masivo |
La tabla destaca un punto a menudo subestimado: ninguna fuente única garantiza un inventario exhaustivo. Un sitemap puede omitir URL, la Search Console limita sus exportaciones, y un rastreo solo sigue los enlaces que descubre.
Para ilustrar esta complementariedad, se puede consultar la lista de páginas de Net Addict, que muestra cómo un sitemap estructurado organiza las URL por categorías y facilita la lectura de la estructura de un sitio.
Diferencias entre el sitemap procesado y las páginas realmente indexadas
Una trampa frecuente consiste en asimilar el procesamiento de un sitemap por Google a la indexación de su contenido. Un sitemap con estado “exitoso” significa solo que el archivo ha sido leído, no que las URL que contiene han sido exploradas o añadidas al índice.
Google aplica luego sus propios criterios de calidad y presupuesto de rastreo para decidir qué URL merecen una visita. Páginas de bajo valor añadido, contenido duplicado o señales técnicas desfavorables (tiempo de respuesta alto, directrices noindex) pueden impedir la indexación incluso si la URL figura en el sitemap.
La etiqueta lastmod: una señal de frescura bajo condición
Google ignora las etiquetas changefreq y priority en los sitemaps. La etiqueta lastmod solo se tiene en cuenta si refleja una modificación sustancial del contenido. Actualizaciones artificiales o cosméticas (cambiar una coma, actualizar un timestamp sin tocar el texto) pueden reducir la confianza otorgada a esta señal.
Un sitemap bien mantenido sigue siendo una herramienta de descubrimiento, no un palanca de indexación forzada. Para identificar las URL efectivamente indexadas, el informe “Páginas” de la Search Console sigue siendo la referencia, a pesar de su límite de exportación.
Rastreo SEO versus operador site: de Google
El operador de búsqueda site:domaine.com en Google solía dar una estimación del número de páginas indexadas. Este método ha perdido fiabilidad desde que Google ya no muestra el número total de resultados de manera sistemática.
Una herramienta de rastreo SEO recorre el sitio siguiendo los enlaces internos y externos, y luego compila la lista de URL descubiertas con su código HTTP, su profundidad de clic, sus etiquetas meta y su estado de indexabilidad. La diferencia es estructural:
- El operador site: interroga el índice de Google, que puede contener páginas eliminadas o excluir otras perfectamente accesibles
- El rastreo SEO recorre el sitio tal como existe en el momento T, ignorando lo que Google sabe o no sabe
- Cruzar ambos permite identificar las páginas indexadas pero eliminadas del sitio (errores 404 en el índice) y las páginas existentes pero ausentes del índice
Para una auditoría de migración o una limpieza de contenido, el rastreo SEO proporciona una base más fiable que el operador de búsqueda.
IndexNow y notificación proactiva de URL modificadas
Bing ofrece un enfoque complementario a través del protocolo IndexNow. En lugar de esperar el paso del robot de exploración, el webmaster notifica directamente las URL añadidas, modificadas o eliminadas. Una solicitud IndexNow puede enviar hasta 10,000 URL de una sola vez.
Este protocolo no reemplaza el sitemap, que sigue siendo el inventario estructural del sitio. Actúa como un canal de actualización en tiempo real, particularmente útil para sitios con alta frecuencia de publicación o tiendas en línea cuyas fichas de productos cambian regularmente.
Cuándo combinar sitemap e IndexNow
El sitemap cubre la totalidad de las URL existentes y sirve de referencia para los rastreadores. IndexNow señala los cambios recientes para acelerar su consideración. Ambos se complementan sin superponerse: el primero ofrece la visión general, el segundo la reactividad.
Método práctico para cruzar las fuentes y obtener una lista completa
El enfoque más fiable consiste en fusionar los datos de varias fuentes en una hoja de cálculo o una herramienta de auditoría, y luego identificar las discrepancias.
- Exportar las URL del sitemap XML (a menudo accesible a través de dominio.com/sitemap.xml o dominio.com/sitemap_index.xml)
- Exportar las URL conocidas desde la Search Console (informe “Páginas”, teniendo en cuenta el límite de 1,000 filas por exportación)
- Lanzar un rastreo completo del sitio con una herramienta dedicada para capturar las URL accesibles por enlazado interno
- Comparar las tres listas para aislar las URL huérfanas, las páginas no declaradas en el sitemap, y las URL indexadas pero con error
Las URL presentes en el rastreo pero ausentes del sitemap son candidatas inmediatas para ser añadidas. Las URL presentes en la Search Console pero que devuelven un error 404 durante el rastreo indican un problema de mantenimiento.
El inventario completo de las páginas de un sitio sigue siendo un ejercicio de cruce. La calidad de la lista final depende menos de la herramienta elegida que de la rigurosidad con la que se cruzan las fuentes, cada una compensando los ángulos muertos de la otra.
