Eine Sitemap dient nicht dazu, eine Website für Suchmaschinen zu entdecken. Sie dient dazu, ihnen anzuzeigen, was vorrangig erkundet werden soll, und vor allem, was nicht erkundet werden soll. Diese Unterscheidung verändert grundlegend, wie die Datei erstellt und gepflegt wird.
XML-Sitemap und Verwaltung des Crawl-Budgets: Der Aspekt, den die Leitfäden auslassen
Auf einer Website mit einigen Dutzend Seiten bleibt die XML-Sitemap ein Komfort. Auf einer Website mit mehreren Tausend URLs wird sie zu einem direkten Hebel zur Reduzierung von Crawl-Verschwendung. Aktuelle Log-Analysen zeigen, dass ein erheblicher Teil des Crawling-Budgets von Google durch URLs außerhalb der Struktur verbraucht werden kann: Filterseiten, Parameter-Varianten, alte Paginierungen oder verwaiste Seiten.
Die Sitemap fungiert hier als deklarativer Filter. Indem wir nur kanonische, indexierbare und tatsächlich nützliche URLs auflisten, signalisieren wir den Robotern, was ihre Zeit wert ist. Im Gegensatz dazu führt eine Sitemap, die 301-Weiterleitungen, Soft 404 oder durch robots.txt blockierte URLs auflistet, dazu, dass Googlebot sein Budget an der falschen Stelle ausgibt.
Wir empfehlen, den Inhalt der Sitemap systematisch mit den Server-Logs abzugleichen. Wenn URLs, die in der Datei vorhanden sind, niemals gecrawlt werden, oder wenn Googlebot massiv URLs erkundet, die in der Sitemap fehlen, ist die Datei nicht mit der Realität der Website synchronisiert. Auf der Website Tekniko finden wir einen strukturierten Ansatz für diese Kohärenz zwischen Sitemap und tatsächlicher Architektur.
Warum aufgeblähte Sitemaps die Indizierung schädigen
Eine Sitemap, die Tausende von nicht indexierbaren URLs enthält, sendet ein widersprüchliches Signal. Google interpretiert die Datei als eine Liste von Seiten, die der Webmaster für indexierbar hält. Wenn die Hälfte Codes 3xx, 4xx oder noindex-Tags zurückgibt, sinkt die Zuverlässigkeit der Datei.
Googlebot reduziert dann die Häufigkeit der Abfragen der Sitemap selbst. Neue hinzugefügte URLs benötigen länger, um entdeckt zu werden. Der Effekt ist im Abdeckungsbericht der Search Console messbar: Eine wachsende Diskrepanz zwischen eingereichten URLs und indexierten URLs weist fast immer auf ein Qualitätsproblem der Datei hin, nicht auf ein Inhaltsproblem.
lastmod-Tag in der Sitemap: Wenn Frische zur Falle wird
Der lastmod-Tag ist die am schlechtesten genutzte Metadaten des XML-Sitemaps. Seine Funktion ist einfach: das Datum der letzten wesentlichen Änderung einer Seite anzugeben. In der Praxis aktualisieren die meisten CMS ihn bei jeder Speicherung, selbst bei einer korrigierten Komma oder einem in der Sidebar geänderten Widget.
Google hat seine Position zu diesem Punkt ausdrücklich verschärft. lastmod-Werte, die ohne tatsächliche Inhaltsänderung aktualisiert werden, führen dazu, dass die Roboter dieses Tag für die gesamte Sitemap ignorieren. Die Datei verliert dann ihre Fähigkeit, echte Aktualisierungen zu signalisieren, was die Re-Indexierung tatsächlich geänderter Seiten verlangsamt.
Wie man lastmod zuverlässig nutzt
- lastmod nur bei einer Änderung des Hauptinhalts (Text, Medien, strukturierte Daten) auslösen, niemals bei Änderungen am Template oder Menü
- Vergleichen Sie die lastmod-Daten der Sitemap mit den tatsächlichen Änderungsdaten in der Datenbank und korrigieren Sie Abweichungen über ein Skript oder einen CMS-Hook
- lastmod vollständig entfernen, wenn die Website seine Zuverlässigkeit nicht garantieren kann, anstatt künstliche Daten zu belassen
Eine Sitemap ohne lastmod bleibt nutzbar. Eine Sitemap mit falschen lastmod wird kontraproduktiv.
Spezialisierte Sitemaps: Video, Bilder und Nachrichten
Die klassische XML-Sitemap deckt HTML-Seiten ab. Für reichhaltige Inhalte ermöglichen spezifische Erweiterungen des Protokolls sitemaps.org die Deklaration zusätzlicher Metadaten, die Google nicht immer nur aus dem HTML extrahieren kann.
Die Video-Sitemap bleibt relevant für Websites, die ihre eigenen Dateien hosten. Sie ermöglicht die Deklaration von Titel, Beschreibung, Dauer, URL des Thumbnails und URL der Videodatei. Ohne diese Metadaten ist Google ausschließlich auf das Schema-Markup auf der Seite angewiesen, das oft unvollständig oder nicht vorhanden ist.
Die Bilder-Sitemap bringt nur einen Vorteil, wenn die visuellen Inhalte dynamisch geladen werden (JavaScript, bedingtes Lazy Loading) und Googlebot sie nicht über das klassische Rendering entdeckt. Für eine statische Website mit standardmäßigen img-Tags ist die Ergänzung überflüssig.
Die Nachrichten-Sitemap betrifft ausschließlich Websites, die in Google Nachrichten registriert sind. Die URLs müssen weniger als zwei Tage alt sein. Das Einfügen älterer Artikel führt nicht zu einer Strafe, aber Google ignoriert sie, was die Relevanz der Datei verwässert.
Einreichung der Sitemap und robots.txt: Die Mechanik der Deklaration
Es gibt zwei Koexistierende Methoden zur Deklaration. Die erste, historische, besteht darin, eine Sitemap: https://example.com/sitemap.xml-Anweisung in die robots.txt-Datei einzufügen. Die zweite erfolgt über die Search Console oder Bing Webmaster Tools.
Wir beobachten, dass die Erklärung über robots.txt oft die einzige ist, die auf Websites vorhanden ist, die nie eine Search Console konfiguriert haben. Sie funktioniert, bietet jedoch kein Feedback zur Verarbeitung der Datei durch Google. Die Einreichung über die Search Console bleibt die bevorzugte Methode, da sie Parsing-Fehler, die Anzahl der entdeckten URLs und den Indexierungsstatus offenlegt.
Index von Sitemaps für große Websites
Das Protokoll sitemaps.org legt eine Grenze von 50.000 URLs pro Datei und eine maximale unkomprimierte Größe fest. Für Websites, die diesen Schwellenwert überschreiten, verweist ein Sitemap-Index auf mehrere untergeordnete Dateien. Die Segmentierung nach Inhaltstyp (Artikel, Kategorien, Produkte) erleichtert die Diagnose: Wenn eine untergeordnete Datei eine niedrige Indexierungsrate aufweist, ist das Problem auf einen bestimmten Seitentyp isoliert.
- Segmentieren nach Verzeichnis oder Inhaltstyp anstatt nach alphabetischer oder chronologischer Reihenfolge
- Die Dateien explizit benennen (sitemap-products.xml, sitemap-blog.xml), um die Analyse in der Search Console zu vereinfachen
- Überprüfen, dass jede untergeordnete Datei nur URLs enthält, die in ihren Bereich fallen, ohne Duplikate zwischen den Dateien
Eine gut segmentierte Sitemap verwandelt die Search Console in ein Diagnosewerkzeug nach Inhaltstyp. Eine monolithische Sitemap mit 40.000 URLs ertränkt die Signale in der Masse und erschwert jede gezielte Intervention.