Obter a lista completa das páginas de um site web pressupõe cruzar várias fontes de dados, pois nenhum método isolado cobre a totalidade das URLs existentes. O sitemap XML, a Search Console, as ferramentas de rastreamento e até mesmo os arquivos de logs do servidor fornecem cada um uma fotografia parcial. Compreender as divergências entre essas fontes permite escolher a combinação certa de acordo com o objetivo: auditoria SEO, migração, inventário de conteúdo ou simples verificação.
Sitemap XML, Search Console e rastreamento: o que cada fonte realmente cobre
O reflexo mais comum consiste em abrir o arquivo sitemap.xml de um domínio. Este arquivo declara as URLs que o proprietário do site deseja que sejam exploradas. Ele não reflete nem o estado de indexação nem a existência de páginas órfãs ausentes da malha interna.
| Fonte | O que ela recenseia | Limite principal |
|---|---|---|
| Sitemap XML | URLs declaradas pelo webmaster | Páginas órfãs e URLs não declaradas ausentes |
| Google Search Console | URLs conhecidas do Google (exploradas ou indexadas) | Exportação limitada a 1.000 linhas por relatório, dados retidos por 16 meses |
| Rastreamento SEO (Screaming Frog, Sitebulb, etc.) | URLs acessíveis via a malha interna | Páginas protegidas por autenticação ou bloqueadas por robots.txt ignoradas |
| Logs do servidor | Qualquer URL que recebeu pelo menos uma requisição HTTP | Requer acesso técnico ao servidor, volume de dados às vezes massivo |
O quadro destaca um ponto frequentemente subestimado: nenhuma fonte única garante um inventário exaustivo. Um sitemap pode omitir URLs, a Search Console limita suas exportações, e um rastreamento segue apenas os links que descobre.
Para ilustrar essa complementaridade, pode-se consultar a lista de páginas da Net Addict, que mostra como um sitemap estruturado organiza as URLs por categorias e facilita a leitura da árvore de um site.
Divergências entre sitemap tratado e páginas realmente indexadas
Uma armadilha comum consiste em assimilar o tratamento de um sitemap pelo Google à indexação de seu conteúdo. Um sitemap com status “bem-sucedido” significa apenas que o arquivo foi lido, não que as URLs que ele contém foram exploradas ou adicionadas ao índice.
O Google aplica então seus próprios critérios de qualidade e orçamento de rastreamento para decidir quais URLs merecem uma visita. Páginas de baixo valor agregado, conteúdos duplicados ou sinais técnicos desfavoráveis (tempo de resposta elevado, diretrizes noindex) podem impedir a indexação mesmo que a URL figure no sitemap.
A tag lastmod: um sinal de frescor sob condição
O Google ignora as tags changefreq e priority nos sitemaps. A tag lastmod é considerada apenas se refletir uma modificação substancial do conteúdo. Atualizações artificiais ou cosméticas (mudar uma vírgula, atualizar um timestamp sem alterar o texto) podem reduzir a confiança atribuída a esse sinal.
Um sitemap bem mantido continua sendo uma ferramenta de descoberta, não um alavancador de indexação forçada. Para identificar as URLs efetivamente indexadas, o relatório “Páginas” da Search Console continua sendo a referência, apesar de seu limite de exportação.
Rastreamento SEO versus operador site: do Google
O operador de pesquisa site:domaine.com no Google costumava fornecer uma estimativa do número de páginas indexadas. Esse método perdeu confiabilidade desde que o Google não exibe mais o número total de resultados de forma sistemática.
Uma ferramenta de rastreamento SEO percorre o site seguindo os links internos e externos, e depois compila a lista das URLs descobertas com seu código HTTP, sua profundidade de clique, suas tags meta e seu status de indexabilidade. A diferença é estruturante:
- O operador site: interroga o índice do Google, que pode conter páginas excluídas ou excluir outras perfeitamente acessíveis
- O rastreamento SEO percorre o site como ele existe no momento T, ignorando o que o Google sabe ou não sabe
- Cruzando os dois é possível identificar as páginas indexadas mas removidas do site (erros 404 no índice) e as páginas existentes mas ausentes do índice
Para uma auditoria de migração ou uma limpeza de conteúdo, o rastreamento SEO fornece uma base mais confiável do que o operador de pesquisa.
IndexNow e notificação proativa das URLs modificadas
Bing oferece uma abordagem complementar através do protocolo IndexNow. Em vez de esperar a passagem do robô de exploração, o webmaster notifica diretamente as URLs adicionadas, modificadas ou excluídas. Uma requisição IndexNow pode submeter até 10.000 URLs de uma só vez.
Esse protocolo não substitui o sitemap, que continua sendo o inventário estrutural do site. Ele atua como um canal de atualização em tempo real, particularmente útil para sites com alta frequência de publicação ou lojas online cujas fichas de produtos mudam regularmente.
Quando combinar sitemap e IndexNow
O sitemap cobre a totalidade das URLs existentes e serve como referência para os crawlers. O IndexNow sinaliza as mudanças recentes para acelerar sua consideração. Ambos se complementam sem se sobrepor: o primeiro oferece a visão geral, o segundo a reatividade.
Método prático para cruzar as fontes e obter uma lista completa
A abordagem mais confiável consiste em fundir os dados de várias fontes em uma planilha ou ferramenta de auditoria, e depois identificar as divergências.
- Exportar as URLs do sitemap XML (geralmente acessível via dominio.com/sitemap.xml ou dominio.com/sitemap_index.xml)
- Exportar as URLs conhecidas a partir da Search Console (relatório “Páginas”, lembrando-se do limite de 1.000 linhas por exportação)
- Executar um rastreamento completo do site com uma ferramenta dedicada para capturar as URLs acessíveis pela malha interna
- Comparar as três listas para isolar as URLs órfãs, as páginas não declaradas no sitemap e as URLs indexadas mas com erro
As URLs presentes no rastreamento mas ausentes do sitemap são candidatas imediatas à adição. As URLs presentes na Search Console mas que retornam um erro 404 durante o rastreamento sinalizam um problema de manutenção.
O inventário completo das páginas de um site continua sendo um exercício de cruzamento. A qualidade da lista final depende menos da ferramenta escolhida do que da rigorosidade com que se cruzam as fontes, cada uma compensando os pontos cegos da outra.
