Die vollständige Liste der Seiten einer Website zu erhalten, erfordert die Kombination mehrerer Datenquellen, da keine isolierte Methode alle bestehenden URLs abdeckt. Die XML-Sitemap, die Search Console, Crawling-Tools und sogar Server-Logdateien liefern jeweils ein Teilbild. Die Unterschiede zwischen diesen Quellen zu verstehen, ermöglicht die Auswahl der richtigen Kombination je nach Ziel: SEO-Audit, Migration, Inhaltsinventar oder einfache Überprüfung.
XML-Sitemap, Search Console und Crawl: Was jede Quelle tatsächlich abdeckt
Der häufigste Reflex besteht darin, die Datei sitemap.xml einer Domain zu öffnen. Diese Datei gibt die URLs an, die der Website-Besitzer crawlen lassen möchte. Sie spiegelt weder den Indexierungsstatus noch die Existenz von verwaisten Seiten wider, die im internen Linknetz fehlen.
| Quelle | Was sie erfasst | Hauptbeschränkung |
|---|---|---|
| XML-Sitemap | Vom Webmaster deklarierte URLs | Verwaiste Seiten und nicht deklarierte URLs fehlen |
| Google Search Console | Von Google bekannte URLs (crawled oder indexiert) | Export auf 1.000 Zeilen begrenzt, Daten werden 16 Monate aufbewahrt |
| SEO-Crawl (Screaming Frog, Sitebulb usw.) | Über das interne Linknetz zugängliche URLs | Durch Authentifizierung geschützte Seiten oder durch robots.txt blockierte Seiten werden ignoriert |
| Server-Logs | Alle URLs, die mindestens eine HTTP-Anfrage erhalten haben | Erfordert technischen Zugriff auf den Server, Datenvolumen kann manchmal massiv sein |
Die Tabelle hebt einen oft unterschätzten Punkt hervor: Keine einzelne Quelle garantiert ein umfassendes Inventar. Eine Sitemap kann URLs auslassen, die Search Console begrenzt ihre Exporte, und ein Crawl folgt nur den Links, die er entdeckt.
Um diese Komplementarität zu veranschaulichen, kann man die Seitenliste von Net Addict konsultieren, die zeigt, wie eine strukturierte Sitemap die URLs nach Kategorien organisiert und das Lesen der Struktur einer Website erleichtert.
Abweichungen zwischen bearbeiteter Sitemap und tatsächlich indexierten Seiten
Eine häufige Falle besteht darin, die Verarbeitung einer Sitemap durch Google mit der Indexierung ihres Inhalts gleichzusetzen. Eine Sitemap mit dem Status “erfolgreich” bedeutet lediglich, dass die Datei gelesen wurde, nicht dass die darin enthaltenen URLs gecrawlt oder zum Index hinzugefügt wurden.
Google wendet dann seine eigenen Qualitäts- und Crawl-Budget-Kriterien an, um zu entscheiden, welche URLs einen Besuch wert sind. Seiten mit geringem Mehrwert, doppelte Inhalte oder ungünstige technische Signale (hohe Antwortzeiten, noindex-Richtlinien) können die Indexierung verhindern, selbst wenn die URL in der Sitemap enthalten ist.
Das lastmod-Tag: Ein Frische-Signal unter Bedingungen
Google ignoriert die Tags changefreq und priority in Sitemaps. Das lastmod-Tag wird nur berücksichtigt, wenn es eine wesentliche Änderung des Inhalts widerspiegelt. Künstliche oder kosmetische Aktualisierungen (ein Komma ändern, einen Zeitstempel aktualisieren, ohne den Text zu ändern) können das Vertrauen in dieses Signal verringern.
Eine gut geführte Sitemap bleibt ein Entdeckungswerkzeug, kein Hebel für erzwungene Indexierung. Um die tatsächlich indexierten URLs zu identifizieren, bleibt der Bericht “Seiten” der Search Console der Referenz, trotz seiner Exportgrenze.
SEO-Crawl versus Google-Site-Operator
Der Suchoperator site:domaine.com in Google gab früher eine Schätzung der Anzahl der indexierten Seiten an. Diese Methode hat an Zuverlässigkeit verloren, seit Google die Gesamtzahl der Ergebnisse nicht mehr systematisch anzeigt.
Ein SEO-Crawl durchsucht die Website, indem er den internen und externen Links folgt, und erstellt dann die Liste der entdeckten URLs mit ihrem HTTP-Code, ihrer Klicktiefe, ihren Meta-Tags und ihrem Indexierungsstatus. Der Unterschied ist strukturell:
- Der Site-Operator fragt den Google-Index ab, der Seiten enthalten kann, die gelöscht wurden, oder andere, die perfekt zugänglich sind, ausschließt
- Der SEO-Crawl durchläuft die Website so, wie sie im Moment T existiert, und ignoriert, was Google weiß oder nicht weiß
- Die Kombination beider ermöglicht es, indexierte, aber von der Website gelöschte Seiten (404-Fehler im Index) und bestehende Seiten, die im Index fehlen, zu identifizieren
Für ein Migrationsaudit oder eine Inhaltsbereinigung bietet der SEO-Crawl eine zuverlässigere Grundlage als der Suchoperator.
IndexNow und proaktive Benachrichtigung über geänderte URLs
Bing bietet einen ergänzenden Ansatz über das Protokoll IndexNow. Anstatt auf den Besuch des Crawlers zu warten, benachrichtigt der Webmaster direkt über hinzugefügte, geänderte oder gelöschte URLs. Eine IndexNow-Anfrage kann bis zu 10.000 URLs auf einmal einreichen.
Dieses Protokoll ersetzt nicht die Sitemap, die weiterhin das strukturelle Inventar der Website bleibt. Es fungiert als Echtzeit-Update-Kanal, der besonders nützlich für Websites mit hoher Veröffentlichungsfrequenz oder Online-Shops ist, deren Produktlisten regelmäßig geändert werden.
Wann Sitemap und IndexNow kombinieren
Die Sitemap deckt alle bestehenden URLs ab und dient als Referenz für die Crawler. IndexNow signalisiert die aktuellen Änderungen, um deren Berücksichtigung zu beschleunigen. Beide ergänzen sich, ohne sich zu überschneiden: Die erste bietet den Gesamtüberblick, die zweite die Reaktivität.
Praktische Methode zum Kombinieren der Quellen und Erhalten einer vollständigen Liste
Der zuverlässigste Ansatz besteht darin, die Daten mehrerer Quellen in einer Tabelle oder einem Audit-Tool zu kombinieren und dann die Abweichungen zu identifizieren.
- Exportieren Sie die URLs aus der XML-Sitemap (oft zugänglich über domaine.com/sitemap.xml oder domaine.com/sitemap_index.xml)
- Exportieren Sie die von der Search Console bekannten URLs (Bericht “Seiten”, unter Berücksichtigung der Grenze von 1.000 Zeilen pro Export)
- Führen Sie einen vollständigen Crawl der Website mit einem speziellen Tool durch, um die über das interne Linknetz zugänglichen URLs zu erfassen
- Vergleichen Sie die drei Listen, um verwaiste URLs, nicht im Sitemap deklarierte Seiten und indexierte, aber fehlerhafte URLs zu isolieren
Die im Crawl vorhandenen, aber in der Sitemap fehlenden URLs sind sofortige Kandidaten für die Hinzufügung. Die in der Search Console vorhandenen URLs, die beim Crawl einen 404-Fehler zurückgeben, weisen auf ein Wartungsproblem hin.
Das vollständige Inventar der Seiten einer Website bleibt eine Übung des Abgleichs. Die Qualität der endgültigen Liste hängt weniger vom gewählten Tool ab als von der Sorgfalt, mit der die Quellen kombiniert werden, wobei jede die blinden Flecken der anderen ausgleicht.
