Een sitemap is niet bedoeld om een site aan zoekmachines te ontdekken. Het dient om aan te geven wat prioriteit heeft om te verkennen, en vooral wat niet verkend moet worden. Dit onderscheid verandert radicaal de manier waarop we het bestand bouwen en onderhouden.
XML Sitemap en beheer van crawlbudget: de invalshoek die de gidsen vergeten
Op een site met enkele tientallen pagina’s blijft de XML sitemap een gemaksfunctie. Op een site met duizenden URL’s wordt het een directe hefboom voor het verminderen van crawlverspilling. Recente loganalyses tonen aan dat een aanzienlijk deel van het verkenningsbudget van Google kan worden verbruikt door URL’s buiten de structuur: filterpagina’s, parametervarianten, oude pagineringen of weespagina’s.
De sitemap fungeert hier als een declaratief filter. Door alleen canonieke, indexeerbare en daadwerkelijk nuttige URL’s op te nemen, geven we de robots aan wat hun tijd waard is. Omgekeerd zorgt een sitemap die 301-omleidingen, soft 404’s of URL’s die door robots.txt zijn geblokkeerd, opsomt ervoor dat Googlebot zijn budget op de verkeerde plek uitgeeft.
We raden aan om de inhoud van de sitemap systematisch te kruisen met de serverlogs. Als URL’s in het bestand nooit worden gecrawld, of als Googlebot massaal URL’s verkent die niet in de sitemap staan, is het bestand niet gesynchroniseerd met de realiteit van de site. Het is op de site Tekniko dat we een gestructureerde benadering van deze consistentie tussen sitemap en werkelijke architectuur vinden.
Waarom opgeblazen sitemaps de indexering schaden
Een sitemap met duizenden niet-indexeerbare URL’s stuurt een tegenstrijdig signaal. Google interpreteert het bestand als een lijst van pagina’s die de webmaster geschikt acht voor indexering. Als de helft 3xx-, 4xx-codes of noindex-tags retourneert, daalt de betrouwbaarheid van het bestand.
Googlebot vermindert dan de frequentie van het raadplegen van de sitemap zelf. Nieuwe URL’s die worden toegevoegd, worden langzamer ontdekt. Het effect is meetbaar in het dekkingsrapport van de Search Console: een toenemende kloof tussen ingediende URL’s en geïndexeerde URL’s duidt bijna altijd op een kwaliteitsprobleem van het bestand, niet op een inhoudsprobleem.
Lastmod-tag in de sitemap: wanneer versheid een valstrik wordt
De lastmod-tag is de slechtst gebruikte metadata van de XML sitemap. De functie is eenvoudig: de datum van de laatste substantiële wijziging van een pagina aangeven. In de praktijk werken de meeste CMS’en deze bij bij elke opslag, zelfs voor een gecorrigeerde komma of een gewijzigd widget in de zijbalk.
Google heeft zijn standpunt hierover expliciet verhard. Lastmod-waarden die zijn bijgewerkt zonder werkelijke inhoudelijke wijziging leiden ertoe dat robots deze tag negeren voor de gehele sitemap. Het bestand verliest dan zijn vermogen om echte updates aan te geven, wat de herindexering van daadwerkelijk gewijzigde pagina’s vertraagt.
Hoe lastmod betrouwbaar te gebruiken
- De update van lastmod alleen activeren bij een wijziging van de hoofdinhoud (tekst, media, gestructureerde gegevens), nooit voor template- of menuwijzigingen
- Vergelijk de lastmod-datums van de sitemap met de werkelijke wijzigingsdatums in de database en corrigeer de afwijkingen via een script of een CMS-hook
- Verwijder lastmod volledig als de site zijn betrouwbaarheid niet kan garanderen, in plaats van kunstmatige datums te laten staan
Een sitemap zonder lastmod blijft bruikbaar. Een sitemap met valse lastmod-waarden wordt contraproductief.
Gespecialiseerde sitemaps: video, afbeeldingen en nieuws
De klassieke XML sitemap dekt HTML-pagina’s. Voor rijke inhoud stellen specifieke extensies van het sitemaps.org-protocol in staat om aanvullende metadata te declareren die Google niet altijd uit alleen HTML kan extraheren.
De video-sitemap blijft relevant voor sites die hun eigen bestanden hosten. Het stelt in staat om titel, beschrijving, duur, URL van de thumbnail en URL van het videobestand te declareren. Zonder deze metadata is Google volledig afhankelijk van de Schema-markup op de pagina, die vaak onvolledig of afwezig is.
De afbeeldingen-sitemap levert alleen een voordeel op wanneer de visuals dynamisch worden geladen (JavaScript, voorwaardelijk lazy loading) en Googlebot ze niet ontdekt via de klassieke rendering. Voor een statische site met standaard img-tags is de toevoeging overbodig.
De nieuws-sitemap betreft uitsluitend sites die zijn geregistreerd in Google Nieuws. De URL’s moeten minder dan twee dagen oud zijn. Het opnemen van oudere artikelen leidt niet tot een straf, maar Google negeert ze, wat de relevantie van het bestand verwaterd.
Indienen van de sitemap en robots.txt: de mechaniek van de verklaring
Twee methoden van verklaring bestaan naast elkaar. De eerste, historische, bestaat uit het toevoegen van een Sitemap: https://example.com/sitemap.xml-richtlijn in het robots.txt-bestand. De tweede verloopt via de Search Console of Bing Webmaster Tools.
We zien dat de verklaring via robots.txt vaak de enige is die aanwezig is op sites die nooit een Search Console hebben ingesteld. Het werkt, maar biedt geen feedback over de verwerking van het bestand door Google. Indienen via de Search Console blijft de voorkeur hebben, omdat het fouten in de parsing, het aantal ontdekte URL’s en de indexatiestatus blootlegt.
Index van sitemaps voor grote sites
Het sitemaps.org-protocol legt een limiet op van 50.000 URL’s per bestand en een maximale niet-gecomprimeerde grootte. Voor sites die deze drempel overschrijden, wijst een sitemapindex naar meerdere kindbestanden. Segmentatie op basis van type inhoud (artikelen, categorieën, producten) vergemakkelijkt het diagnosticeren: als een kindbestand een lage indexeringsgraad vertoont, is het probleem geïsoleerd tot een specifiek type pagina.
- Segmenteren op basis van directory of type inhoud in plaats van op alfabetische of chronologische volgorde
- De bestanden expliciet benoemen (sitemap-products.xml, sitemap-blog.xml) om de analyse in de Search Console te vereenvoudigen
- Controleren of elk kindbestand alleen URL’s bevat die binnen zijn bereik vallen, zonder duplicaten tussen bestanden
Een goed gesegmenteerde sitemap transformeert de Search Console in een diagnostisch hulpmiddel per type inhoud. Een monolithische sitemap van 40.000 URL’s verdrinkt de signalen in de massa en bemoeilijkt elke gerichte interventie.