Een volledige lijst van de pagina’s van een website verkrijgen vereist het combineren van verschillende gegevensbronnen, aangezien geen enkele afzonderlijke methode de totaliteit van de bestaande URL’s dekt. De XML-sitemap, de Search Console, crawltools en zelfs serverlogbestanden leveren elk een gedeeltelijk beeld. Het begrijpen van de verschillen tussen deze bronnen maakt het mogelijk om de juiste combinatie te kiezen afhankelijk van het doel: SEO-audit, migratie, inhoudsinventarisatie of eenvoudige controle.
XML-sitemap, Search Console en crawl: wat elke bron daadwerkelijk dekt
De meest voorkomende reflex is om het bestand sitemap.xml van een domein te openen. Dit bestand verklaart de URL’s die de eigenaar van de site wil laten verkennen. Het weerspiegelt niet de indexeringsstatus of het bestaan van weespagina’s die ontbreken in de interne linkstructuur.
| Bron | Wat het registreert | Hoofdzakelijke beperking |
|---|---|---|
| XML-sitemap | URL’s verklaard door de webmaster | Weespagina’s en niet-gemelde URL’s ontbreken |
| Google Search Console | URL’s bekend bij Google (verkenning of indexering) | Export beperkt tot 1.000 regels per rapport, gegevens bewaard 16 maanden |
| SEO Crawl (Screaming Frog, Sitebulb, enz.) | URL’s toegankelijk via de interne linkstructuur | Pagina’s beschermd door authenticatie of geblokkeerd door robots.txt worden genegeerd |
| Serverlogs | Elke URL die ten minste één HTTP-verzoek heeft ontvangen | Vereist technische toegang tot de server, gegevensvolume soms massaal |
De tabel benadrukt een vaak onderschat punt: geen enkele enkele bron garandeert een uitputtende inventaris. Een sitemap kan URL’s omzeilen, de Search Console beperkt zijn exports, en een crawl volgt alleen de links die het ontdekt.
Om deze complementariteit te illustreren, kan men de lijst van pagina’s van Net Addict bekijken, die laat zien hoe een gestructureerde sitemap de URL’s per categorie organiseert en het lezen van de structuur van een site vergemakkelijkt.
Verschillen tussen verwerkte sitemap en daadwerkelijk geïndexeerde pagina’s
Een veelvoorkomende valkuil is om de verwerking van een sitemap door Google gelijk te stellen aan de indexering van de inhoud ervan. Een sitemap met de status “succesvol” betekent alleen dat het bestand is gelezen, niet dat de URL’s die het bevat zijn verkend of aan de index zijn toegevoegd.
Google past vervolgens zijn eigen kwaliteitscriteria en crawlbudget toe om te beslissen welke URL’s een bezoek waard zijn. Pagina’s met een lage toegevoegde waarde, dubbele inhoud of ongunstige technische signalen (hoge responstijd, noindex-richtlijnen) kunnen de indexering verhinderen, zelfs als de URL in de sitemap staat.
De lastmod-tag: een versheidsignaal onder voorbehoud
Google negeert de tags changefreq en priority in sitemaps. De lastmod-tag wordt alleen in overweging genomen als deze een substantiële wijziging van de inhoud weerspiegelt. Kunstmatige of cosmetische updates (een komma veranderen, een tijdstempel bijwerken zonder de tekst aan te raken) kunnen het vertrouwen in dit signaal verminderen.
Een goed onderhouden sitemap blijft een ontdekkingsinstrument, geen middel voor gedwongen indexering. Om de daadwerkelijk geïndexeerde URL’s te identificeren, blijft het rapport “Pagina’s” van de Search Console de referentie, ondanks de exportlimiet.
SEO Crawl versus site:-operator van Google
De zoekoperator site:domein.com in Google gaf vroeger een schatting van het aantal geïndexeerde pagina’s. Deze methode heeft aan betrouwbaarheid ingeboet sinds Google het totale aantal resultaten niet meer systematisch weergeeft.
Een SEO-crawltool doorzoekt de site door de interne en externe links te volgen, en compileert vervolgens de lijst van ontdekte URL’s met hun HTTP-code, klikdiepte, meta-tags en indexeerstatus. Het verschil is structureel:
- De site:-operator raadpleegt de index van Google, die pagina’s kan bevatten die zijn verwijderd of andere perfect toegankelijke pagina’s kan uitsluiten
- De SEO-crawl doorzoekt de site zoals deze op dat moment bestaat, zonder rekening te houden met wat Google wel of niet weet
- De combinatie van beide maakt het mogelijk om geïndexeerde pagina’s maar verwijderd van de site (404-fouten in de index) en bestaande pagina’s maar afwezig in de index te identificeren
Voor een migratie-audit of inhoudsopruiming biedt de SEO-crawl een betrouwbaardere basis dan de zoekoperator.
IndexNow en proactieve melding van gewijzigde URL’s
Bing biedt een aanvullende aanpak via het IndexNow-protocol. In plaats van te wachten op de crawler, meldt de webmaster rechtstreeks de toegevoegde, gewijzigde of verwijderde URL’s. Een IndexNow-verzoek kan tot 10.000 URL’s in één keer indienen.
Dit protocol vervangt de sitemap niet, die de structurele inventaris van de site blijft. Het fungeert als een kanaal voor realtime updates, bijzonder nuttig voor sites met een hoge publicatiefrequentie of online winkels waarvan de productpagina’s regelmatig veranderen.
Wanneer sitemap en IndexNow combineren
De sitemap dekt alle bestaande URL’s en dient als referentie voor crawlers. IndexNow signaleert recente wijzigingen om hun opname te versnellen. Beide vullen elkaar aan zonder elkaar te overlappen: de eerste biedt het overzicht, de tweede de reactietijd.
Praktische methode om bronnen te combineren en een volledige lijst te verkrijgen
De meest betrouwbare aanpak is om de gegevens van verschillende bronnen te combineren in een spreadsheet of audittool, en vervolgens de verschillen te identificeren.
- Exporteer de URL’s van de XML-sitemap (vaak toegankelijk via domein.com/sitemap.xml of domein.com/sitemap_index.xml)
- Exporteer de bekende URL’s vanuit de Search Console (rapport “Pagina’s”, rekening houdend met de limiet van 1.000 regels per export)
- Voer een volledige crawl van de site uit met een speciaal hulpmiddel om de via de interne linkstructuur toegankelijke URL’s vast te leggen
- Vergelijk de drie lijsten om de wees-URL’s, de niet-gemelde pagina’s in de sitemap, en de geïndexeerde maar foutieve URL’s te isoleren
De URL’s die in de crawl aanwezig zijn maar ontbreken in de sitemap zijn directe kandidaten voor toevoeging. De URL’s die in de Search Console staan maar een 404-fout teruggeven tijdens de crawl wijzen op een onderhoudsprobleem.
Een volledige inventaris van de pagina’s van een site blijft een oefening in kruisbestuiving. De kwaliteit van de uiteindelijke lijst hangt minder af van de gekozen tool dan van de nauwkeurigheid waarmee de bronnen worden gecombineerd, waarbij elke bron de blinde vlekken van de andere compenseert.
