Een XML-sitemap is een van de eerste technische elementen die een ontwikkelaar of SEO-specialist opzet voor een nieuwe site. Google zelf is de oorsprong van het protocol, ontworpen om crawlers een gestructureerde lijst van te ontdekken URL’s te bieden. De technische realiteit van dit bestand is genuanceerder dan de heersende opvatting doet vermoeden: het indienen van een sitemap garandeert niet dat de pagina’s die het bevat, worden gecrawld of geïndexeerd.
Wat Google echt doet met uw XML-sitemap
De officiële documentatie van Google Search Central is duidelijk over één punt: een sitemap is een signaal, geen garantie voor indexering. De zoekmachine kan besluiten het bestand niet te downloaden, bepaalde vermelde URL’s niet te crawlen, of ze zelfs na crawling niet te indexeren.
Deze onderscheid verandert de manier waarop we de sitemap moeten beschouwen. Het is geen shortcut naar een betere ranking, maar een hulpmiddel dat de ontdekking van pagina’s vergemakkelijkt, vooral diegene die slecht verbonden zijn via de interne linkstructuur of recent zijn gepubliceerd.
Onder de beschikbare tags in het XML-formaat hebben niet alle dezelfde waarde. Google geeft aan de tags changefreq en priority te negeren, die lange tijd als optimalisatie-instrumenten werden beschouwd. Daarentegen behoudt de tag lastmod zijn nut, op voorwaarde dat de opgegeven datum overeenkomt met een echte en significante wijziging van de inhoud. Een kunstmatig bijgewerkte datum kan het vertrouwen dat de zoekmachine aan het hele bestand hecht, verminderen.
Om te observeren hoe een sitemap in de praktijk werkt, illustreert de sitemap-pagina van Digital Innovators een structuur die de URL’s organiseert op basis van inhoudscategorieën, waardoor crawlers hun verkenning kunnen prioriteren.
Sitemap en Search Console: een onderbenut diagnostisch hulpmiddel
De meeste gidsen richten zich op het maken van de sitemap. De volgende stap, de analyse in Google Search Console, is echter degene die de meeste bruikbare informatie oplevert.
Het rapport dat aan sitemaps is gewijd in Search Console toont twee belangrijke gegevens: de datum van de laatste lezing van het bestand door Googlebot en het aantal ontdekte URL’s. Het verschil tussen ingediende URL’s en geïndexeerde URL’s onthult concrete problemen: verkeerd geconfigureerde canonical tags, ketenredirects, pagina’s van lage kwaliteit die door het algoritme worden gefilterd, of toegankelijkheidsfouten (robots.txt blokkeren, HTTP 4xx/5xx-codes).
Een sitemap die 500 URL’s opsomt terwijl Search Console er slechts 120 indexeert, is geen probleem van de sitemap. Het onthult een probleem van de site. Het is deze diagnostische lezing die rechtvaardigt dat het bestand up-to-date wordt gehouden en regelmatig wordt geraadpleegd, in plaats van het eenmaal te genereren en te vergeten.
De signalen om in het rapport in de gaten te houden
- Een indexeringspercentage dat veel lager is dan het aantal ingediende URL’s duidt vaak op dubbele inhoud of pagina’s die Google als te vergelijkbaar beschouwt.
- Een oude laatste lezing (enkele weken) kan erop wijzen dat de sitemap niet toegankelijk is, of dat de site te veel fouten genereert zodat Googlebot niet vaak terugkomt.
- Ingediende URL’s die verschijnen als “ontdekt, niet geïndexeerd” wijzen op een probleem met waargenomen kwaliteit of een onvoldoende crawlbudget op grote sites.
Wanneer de XML-sitemap niet genoeg is om uw updates te signaleren
Op een site die meerdere keren per dag inhoud publiceert of wijzigt (nieuwssite, marktplaats, directory), bereikt de XML-sitemap een structurele limiet. Crawlers raadplegen het bestand niet in real-time. Ze lezen het in hun eigen tempo, volgens een schema dat de site-eigenaar niet controleert.
Microsoft raadt aan de sitemap aan te vullen met het IndexNow-protocol om zoekmachines in real-time te notificeren. Dit protocol, compatibel met Bing en Yandex, stuurt een ping naar de zoekmachine zodra een URL is aangemaakt of gewijzigd. Google heeft IndexNow niet aangenomen, maar test zijn eigen notificatiemechanismen.
Voor sites met een hoge volumetrie bestaat een andere aanpak uit het segmenteren van de sitemap in verschillende thematische bestanden (één per categorie, één voor afbeeldingen, één voor video’s), die worden vermeld in een indexbestand van de sitemap. Deze segmentatie maakt het mogelijk om nauwkeuriger te identificeren welke secties van de site correct worden gecrawld en welke problemen vertonen.
HTML-sitemap en XML-sitemap: twee bestanden, twee verschillende functies
De verwarring tussen HTML-sitemap en XML-sitemap blijft bestaan. De eerste is een pagina die zichtbaar is voor bezoekers, die de belangrijkste secties van de site opsomt in de vorm van klikbare links. De tweede is een technisch bestand dat door crawlers wordt gelezen.
De HTML-sitemap verbetert de interne navigatie, niet de crawling. Het functioneert als een inhoudsopgave voor een gebruiker die niet vindt wat hij zoekt via het hoofdmenu. De SEO-waarde is indirect: het versterkt de interne linkstructuur door links naar diepere pagina’s te verspreiden.
De XML-sitemap daarentegen spreekt uitsluitend de zoekmachines aan. Het kan metadata bevatten (datum van wijziging, geschatte frequentie, URL’s van bijbehorende afbeeldingen) die de HTML niet doorgeeft. De twee bestanden vervangen elkaar niet. Een goed gestructureerde site profiteert van beide, maar de XML blijft het enige formaat dat wordt erkend door het sitemapprotocol van Google.
Wat u in het XML-bestand moet opnemen
- Alleen de canonieke URL’s, niet de varianten met parameters of de omgeleide pagina’s.
- De pagina’s die u wilt laten indexeren, met uitsluiting van die geblokkeerd door de noindex-tag of robots.txt.
- Een betrouwbare
lastmod-tag, alleen bijgewerkt bij substantiële wijzigingen van de inhoud.
De sitemap blijft een technisch bestand onder de vele in het SEO-arsenaal. De echte waarde komt naar voren wanneer we het gebruiken als een meetinstrument in plaats van als een formaliteit. Een goed onderhouden bestand, ingediend in Search Console en regelmatig geanalyseerd, onthult de tekortkomingen van een site sneller dan een handmatige audit. Het negeren ervan is jezelf beroven van feedback die Google gratis ter beschikking stelt.
