Robots.txt en sitemap maken: zo regel je crawlbaarheid en indexatie

Een robots.txt-bestand en een sitemap zijn twee basisbestanden voor technische SEO die bepalen hoe zoekmachines je website crawlen en welke pagina’s ze sneller kunnen ontdekken. Robots.txt vertelt bots zoals Googlebot welke delen van je site ze wel of niet mogen bezoeken; een sitemap, oftewel sitekaart, geeft belangrijke URL’s, update-informatie en de structuur van je website door aan zoekmachines. Kort gezegd: robots.txt stuurt het crawlen, een sitemap versnelt de ontdekking van je pagina’s. Een goed ingericht robots.txt-bestand en een nette XML-sitemap kunnen de indexatie-efficiëntie flink verbeteren, vooral bij nieuwe websites, webshops, zakelijke websites en grote contentarchieven.

In deze gids leggen we stap voor stap uit hoe je een robots.txt en sitemap maakt, welke regels je gebruikt, waar je bij WordPress en maatwerkwebsites op moet letten, hoe je fouten test en hoe je je sitemap bij Google indient. Deze blog voor Hostragons is opgesteld volgens de technische SEO-praktijk van 2026, met aandacht voor zoekintentie, crawlbudget, indexeerbaarheid, praktische implementatie en een solide hostingbasis.

Wat is robots.txt?

Robots.txt is een tekstbestand in de hoofdmap van je website. Meestal is het bereikbaar via https://jouwdomein.nl/robots.txt. In dit bestand geef je zoekmachinebots instructies over welke mappen of pagina’s ze mogen crawlen en welke onderdelen ze beter kunnen overslaan. Een belangrijk punt daarbij: robots.txt is geen beveiligingsmiddel. Het is alleen een crawlrichtlijn voor bots die zich aan de regels houden.

Je kunt bijvoorbeeld een beheeromgeving, winkelwagenstappen, filterparameters, interne zoekresultaten of testmappen uitsluiten van crawling. Maar vertrouwelijke informatie bescherm je niet met robots.txt. Het bestand is namelijk voor iedereen zichtbaar. Voor echte beveiliging heb je wachtwoordbescherming, server-side toegangsregels, een veilige hostingconfiguratie en SSL nodig. Voor de basisveiligheid van je website kun je daarom SSL certificaat bekijken, en voor een snelle en stabiele infrastructuur zijn Webhosting oplossingen belangrijk.

Waarvoor gebruik je een robots.txt-bestand?

• Het stuurt het crawlgedrag van zoekmachinebots.
• Het vermindert crawling van onbelangrijke of dubbele pagina’s.
• Het helpt om crawlbudget te concentreren op belangrijke pagina’s.
• Het geeft de locatie van je sitemap door aan bots.
• Het kan testomgevingen, panelen, interne zoekresultaten en URL’s met parameters afschermen voor crawling.

Vooral websites met duizenden producten, categorieën, tags of filterpagina’s kunnen problemen krijgen als robots.txt verkeerd is ingericht. Google kan belangrijke pagina’s dan te laat ontdekken. Andersom kan een te streng bestand CSS, JavaScript, afbeeldingen of categoriepagina’s blokkeren, waardoor je zichtbaarheid in zoekmachines juist schade oploopt.

Wat is een sitemap?

Een sitemap, in het Nederlands vaak sitekaart genoemd, is meestal een XML-bestand waarin je belangrijke URL’s van je website opsomt voor zoekmachines. Vaak staat dit bestand op https://jouwdomein.nl/sitemap.xml. De boodschap van een sitemap is: deze pagina’s zijn belangrijk voor mijn website, ontdek ze alsjeblieft en neem ze mee in het indexatieproces als ze geschikt zijn.

Een sitemap kan per URL informatie bevatten zoals de laatste wijzigingsdatum, wijzigingsfrequentie en prioriteit. In de SEO-aanpak van 2026 is vooral de laatste wijzigingsdatum relevant. Zoekmachines willen actuele, betrouwbare en waardevolle content efficiënt kunnen herkennen. Toch geeft een sitemap geen indexatiegarantie. Dat een URL in je sitemap staat, betekent niet automatisch dat Google die pagina ook in de zoekresultaten toont. De pagina moet kwalitatief goed, bereikbaar, indexeerbaar, canoniek correct en passend bij de zoekintentie zijn.

Wanneer heb je een sitemap nodig?

• Als je een nieuwe website hebt gelanceerd.
• Als je veel pagina’s, producten of blogartikelen hebt.
• Als je interne linkstructuur nog niet sterk genoeg is.
• Als je veel afbeeldingen, video’s of nieuwscontent publiceert.
• Als je webshop vaak productupdates krijgt.
• Als je bestaande content regelmatig vernieuwt.

Zelfs voor een kleine website met een goede interne linkstructuur is een sitemap een best practice. Een sitekaart geeft zoekmachines namelijk een duidelijke lijst met relevante URL’s en verkleint de kans dat belangrijke pagina’s pas laat worden ontdekt.

Verschillen tussen robots.txt en sitemap

Robots.txt en een sitemap werken vaak samen, maar ze hebben elk een andere taak. Robots.txt gaat vooral over crawltoestemming en beperkingen, terwijl de sitemap de URL’s opsomt die je graag ontdekt en beoordeeld wilt hebben. De onderstaande tabel vat de belangrijkste verschillen samen.

Hoe maak je een robots.txt-bestand?

Een robots.txt-bestand maken is technisch eenvoudig, maar SEO-inhoudelijk vraagt het om precisie. De bestandsnaam moet exact robots.txt zijn, in kleine letters, en het bestand moet in de hoofdmap van je website staan. De juiste locatie is dus https://jouwdomein.nl/robots.txt. Een robots.txt-bestand in een submap wordt niet als algemene instructie voor je website gezien.

1. Maak een basisstructuur voor robots.txt

De eenvoudigste structuur geeft alle bots toestemming om de website te crawlen en vermeldt de locatie van de sitemap:

• User-agent: *
• Allow: /
• Sitemap: https://jouwdomein.nl/sitemap.xml

Hier betekent User-agent: * dat de regel geldt voor alle bots. Allow: / geeft toestemming om de hele site te crawlen. De Sitemap-regel geeft aan waar de sitekaart staat. Voor een nieuwe website die je volledig wilt laten indexeren, is dit meestal een veilige basis.

2. Bepaal welke onderdelen je niet wilt laten crawlen

Niet elke pagina hoeft gecrawld te worden. Vooral gebruikersspecifieke, tijdelijke, dubbele of SEO-arme pagina’s kun je via robots.txt beperken. Denk bijvoorbeeld aan:

• Disallow: /wp-admin/
• Disallow: /winkelwagen/
• Disallow: /afrekenen/
• Disallow: /zoeken/
• Disallow: /test/

Bij WordPress-websites is het gebruikelijk om de map /wp-admin/ te blokkeren voor crawling. Wel moet het bestand /wp-admin/admin-ajax.php bereikbaar blijven, omdat sommige thema’s en plugins AJAX-functionaliteit nodig hebben. Een voorbeeld voor WordPress kan er daarom zo uitzien:

• User-agent: *
• Disallow: /wp-admin/
• Allow: /wp-admin/admin-ajax.php
• Sitemap: https://jouwdomein.nl/sitemap.xml

In dit voorbeeld wordt het beheerpaneel uitgesloten van crawling, terwijl de AJAX-processen die thema’s en plugins nodig hebben toegankelijk blijven. Wil je je WordPress-site sneller en stabieler laten draaien, bekijk dan ook WordPress hosting.

3. Controleer parameters en filters bij webshops

In webshops kunnen filters, sorteringen, kleurkeuzes, maten, prijsklassen, voorraadstatussen en zoekparameters enorme aantallen URL’s genereren. Dezelfde categorie kan bijvoorbeeld varianten krijgen zoals /schoenen?kleur=zwart, /schoenen?maat=42 of /schoenen?sort=price_asc. Als je dit niet beheerst, kan Googlebot duizenden URL’s met lage waarde crawlen.

Voor dit soort onderdelen moet je robots.txt combineren met canonical-tags en data uit Google Search Console. Alleen alle parameters blokkeren via robots.txt is niet altijd de beste oplossing. Sommige filterpagina’s hebben namelijk commerciële zoekintentie. Een pagina zoals zwarte heren sportschoenen kan SEO-waarde hebben en verdient dan misschien een aparte, indexeerbare categoriepagina in plaats van een geblokkeerde filter-URL.

4. Blokkeer CSS- en JavaScript-bestanden niet

Moderne SEO draait niet alleen om de ruwe HTML. Google beoordeelt pagina’s steeds vaker op de gerenderde versie, dus hoe de pagina eruitziet en werkt voor gebruikers. Als je CSS- en JavaScript-bestanden blokkeert, kan Google moeite krijgen met het begrijpen van de lay-out, mobiele bruikbaarheid, navigatie, menu’s of content die via scripts wordt geladen. Brede regels zoals Disallow: /assets/ of Disallow: /js/ waren vroeger soms gebruikelijk, maar zijn tegenwoordig riskant.

De veilige aanpak voor 2026 is helder: bestanden die de gebruikerservaring opbouwen, zoals CSS, JS, afbeeldingen en fonts, moeten voor bots toegankelijk zijn. Beperk alleen mappen die echt niet gecrawld hoeven te worden, zoals beheerdelen, tijdelijke omgevingen of privésecties.

5. Test je robots.txt-bestand

Test het bestand altijd nadat je het hebt geüpload. Controleer minimaal het volgende:

• Opent https://jouwdomein.nl/robots.txt met een 200-statuscode?
• Is het bestand niet leeg, verkeerd geformatteerd of gekoppeld aan het verkeerde domein?
• Verwijst de Sitemap-regel naar de juiste URL?
• Worden belangrijke categorie-, product-, dienst- en blogpagina’s niet geblokkeerd?
• Zijn CSS-, JS- en afbeeldingsbronnen niet per ongeluk uitgesloten?

Met de URL-inspectietool in Google Search Console kun je controleren of belangrijke pagina’s crawlbaar en indexeerbaar zijn. Een meer geavanceerde, maar zeer waardevolle methode is het analyseren van serverlogs om te zien welke URL’s Googlebot daadwerkelijk bezoekt. Voor krachtige serverprestaties en een goede configuratie kun je VPS server of Zakelijk Hosting overwegen.

Hoe maak je een sitemap?

Bij het maken van een sitemap is het doel om zoekmachines een schone lijst te geven van kwalitatieve URL’s die je geïndexeerd wilt hebben. Niet elke URL hoort in de sitemap. Sterker nog: noindex-pagina’s, redirects, foutpagina’s en dubbele pagina’s in je sitemap kunnen een verkeerd SEO-signaal afgeven.

1. Voeg alleen indexeerbare URL’s toe

Pagina’s die je in de sitemap opneemt, moeten aan deze criteria voldoen:

• Ze moeten een 200-statuscode teruggeven.
• Ze mogen geen noindex-tag bevatten.
• Ze mogen niet door robots.txt worden geblokkeerd.
• De canonical-tag moet naar zichzelf of naar de juiste doelpagina verwijzen.
• Ze moeten unieke content bevatten die waarde biedt aan gebruikers.
• Ze moeten mobielvriendelijk zijn en snel kunnen laden.

Verwijderde productpagina’s, permanent uit assortiment gehaalde producten, interne zoekresultaten, winkelwagenpagina’s en afrekenpagina’s horen dus niet in je sitemap. Hoofdcategorieën, belangrijke subcategorieën, dienstenpagina’s, blogartikelen en actieve producten horen er juist meestal wel in.

2. Gebruik het XML-sitemapformaat correct

Een eenvoudige XML-sitemap werkt volgens deze logica:

• <urlset> is de hoofdcontainer.
• <url> is een apart blok voor elke pagina.
• <loc> bevat de volledige URL van de pagina.
• <lastmod> geeft de datum van de laatste inhoudelijke wijziging aan.

Een voorbeeld van een URL-record kun je zien als: <loc>https://jouwdomein.nl/diensten/</loc> en <lastmod>2026-01-15</lastmod>. Het aanbevolen datumformaat is jaar-maand-dag. Het is belangrijk dat lastmod automatisch én eerlijk wordt bijgewerkt. Alle URL’s dagelijks een nieuwe datum geven om Google te “prikkelen” is geen betrouwbare SEO-praktijk.

3. Splits sitemaps op bij grote websites

Een standaard XML-sitemap mag maximaal 50.000 URL’s bevatten en mag onuitgepakt niet groter zijn dan 50 MB. Voor grote websites is het gezonder om met een sitemap-index te werken in plaats van één gigantisch bestand. Bijvoorbeeld:

• /post-sitemap.xml
• /page-sitemap.xml
• /product-sitemap.xml
• /category-sitemap.xml
• /image-sitemap.xml

Deze structuur helpt zoekmachines om de bestanden efficiënter te verwerken en maakt het makkelijker om indexatieproblemen per contenttype te analyseren. Als bijvoorbeeld van de 20.000 URL’s in je product-sitemap maar 8.000 worden geïndexeerd, kun je gerichter kijken naar productteksten, voorraadstatus, duplicate content, paginasnelheid of filterstructuur.

4. Een sitemap maken in WordPress

Vanaf WordPress 5.5 heeft WordPress een ingebouwde XML-sitemapfunctie. Standaard is die vaak bereikbaar via /wp-sitemap.xml. Toch kiezen veel professionele websites voor plugins zoals Rank Math, Yoast SEO of vergelijkbare SEO-tools, omdat die meer controle bieden. Met zulke plugins bepaal je welke contenttypes in de sitemap komen, of tagarchieven worden opgenomen en hoe auteursarchieven worden beheerd.

Een veelgemaakte fout bij WordPress-sites is het opnemen van lagewaarde-tagpagina’s in de sitemap. Als tagpagina’s geen unieke beschrijving, sterke interne links en echte zoekvraag hebben, kun je ze vaak beter buiten de sitemap houden. Wil je je contentstrategie versterken, dan kun je ook verwijzen naar hoe een SEO-vriendelijk blogbericht te schrijven.

5. Automatiseer sitemaps bij maatwerkwebsites

Bij maatwerkwebsites kun je een sitemap handmatig maken, maar bij dynamische projecten is automatische generatie noodzakelijk. Wanneer een product wordt toegevoegd, een blogartikel wordt gepubliceerd of een dienstenpagina wordt bijgewerkt, moet de sitemap automatisch meebewegen. Voor ontwikkelteams zijn deze regels aan te raden:

• Gepubliceerde pagina’s worden automatisch aan de sitemap toegevoegd.
• Verwijderde URL’s en 404-pagina’s worden uit de sitemap gehaald.
• Pagina’s met noindex worden niet opgenomen.
• Pagina’s met een canonical naar een andere URL worden zorgvuldig beheerd.
• Lastmod wordt alleen bijgewerkt bij echte inhoudelijke wijzigingen.

Deze automatisering is vooral cruciaal voor nieuwswebsites, vacature- en advertentieplatformen, reserveringssystemen, opleidingssites en webshops die vaak veranderen. Zonder automatische sitemapcontrole stapelen technische SEO-problemen zich snel op.

Hoe vermeld je een sitemap in robots.txt?

Het is een goede gewoonte om de sitemap-URL onderaan je robots.txt-bestand te plaatsen. Zo kunnen bots je sitekaart makkelijk vinden. Een voorbeeld:

• User-agent: *
• Allow: /
• Sitemap: https://jouwdomein.nl/sitemap.xml

Heb je meerdere sitemapbestanden, dan kun je ze elk op een aparte regel vermelden:

• Sitemap: https://jouwdomein.nl/post-sitemap.xml
• Sitemap: https://jouwdomein.nl/product-sitemap.xml
• Sitemap: https://jouwdomein.nl/category-sitemap.xml

Gebruik je HTTPS op je domein, dan moeten je sitemap-URL’s ook HTTPS gebruiken. Meng HTTP, www en non-www varianten niet door elkaar. Daarom is het belangrijk om je domein, SSL en redirects vanaf het begin goed in te richten. Start je een nieuw project, neem dan Domeinsopzoeking en SSL certificaat meteen mee in je technische SEO-plan.

Een sitemap indienen bij Google Search Console

Nadat je een sitemap hebt gemaakt, dien je die in via Google Search Console. De stappen zijn als volgt:

• Log in bij Google Search Console.
• Kies de juiste property. Gebruik bij voorkeur een domeinproperty.
• Ga in het linkermenu naar Sitemaps.
• Vul de sitemap-URL in, bijvoorbeeld sitemap.xml.
• Klik op Verzenden.
• Controleer bij Status of de sitemap succesvol is verwerkt en hoeveel URL’s zijn ontdekt.

Verwacht niet dat alle pagina’s direct worden geïndexeerd nadat je een sitemap hebt ingediend. Google ontdekt de URL’s eerst, crawlt ze, verwerkt de inhoud en beslist op basis van kwaliteitssignalen of ze in de index komen. Bij nieuwe websites kan dit enkele dagen tot enkele weken duren. Sterke interne links, waardevolle content en snelle serverrespons helpen dit proces positief te beïnvloeden.

Veelgemaakte fouten met robots.txt en sitemap

1. Per ongeluk de hele website blokkeren

De meest kritieke fout is een Disallow: / regel live laten staan. Deze regel blokkeert crawling van de hele website. In een ontwikkelomgeving kan dit handig zijn, maar als je het bij livegang vergeet te verwijderen, kan Google nieuwe pagina’s niet crawlen. Robots.txt hoort daarom altijd op je livegang-checklist te staan.

2. Noindex-pagina’s in de sitemap zetten

Een pagina een noindex geven en dezelfde pagina toch in de sitemap opnemen, stuurt tegenstrijdige signalen. De sitemap zegt: deze pagina is belangrijk. Noindex zegt: neem deze pagina niet op in de index. Zorg daarom dat je sitemap alleen bestaat uit URL’s die je daadwerkelijk geïndexeerd wilt hebben.

3. URL’s met 301-, 404- of 500-status in de sitemap laten staan

URL’s in je sitemap zouden idealiter een 200-statuscode moeten teruggeven. Redirects, niet-gevonden pagina’s en serverfouten moet je regelmatig opschonen. Een maandelijkse technische SEO-crawl helpt om dit soort fouten vroeg te ontdekken.

4. Het verkeerde domein of protocol gebruiken

Gebruik je https://www.jouwdomein.nl, dan moeten de URL’s in je sitemap hetzelfde formaat gebruiken. Een andere protocol- of domeinvariant kan het voor Google moeilijker maken om signalen samen te voegen. Canonicals, sitemap, robots.txt en redirects moeten daarom allemaal naar dezelfde voorkeursversie van je URL’s wijzen.

5. Te veel URL’s opsturen

Een sitemap is geen prullenbak. Voeg niet simpelweg elke URL toe, maar kies voor de pagina’s die echt kwaliteit hebben en geïndexeerd moeten worden. Door dunne, dubbele of lagekwaliteitspagina’s buiten de sitemap te houden, geef je zoekmachines een schoner en betrouwbaarder signaal.

Technische SEO-checklist voor 2026

Gebruik deze checklist wanneer je robots.txt en je sitemap inricht:

• Staat robots.txt in de hoofdmap en is het bestand bereikbaar?
• Is de sitemap-URL correct opgenomen in robots.txt?
• Worden belangrijke pagina’s niet geblokkeerd door robots.txt?
• Zijn CSS, JavaScript en afbeeldingen crawlbaar?
• Bevat de sitemap alleen indexeerbare URL’s met een 200-statuscode?
• Zijn noindex-pagina’s buiten de sitemap gehouden?
• Weerspiegelen lastmod-datums echte updates?
• Gebruiken grote websites een sitemap-index?
• Is de sitemap succesvol verwerkt in Google Search Console?
• Ondersteunen serverresponstijden efficiënt crawlen?

Technische SEO stopt niet bij het aanmaken van twee bestanden. Hostingprestaties, SSL-configuratie, correcte DNS-instellingen, redirects, mobiele bruikbaarheid en contentkwaliteit spelen ook een directe rol. Wanneer je de infrastructuur van je project plant, is het daarom verstandig om Hostingpakketten, Domeinoverdracht en website beveiliging samen te bekijken.

Voorbeeldstrategie voor robots.txt en sitemap

Voor een eenvoudige zakelijke website kan de aanbevolen structuur er als volgt uitzien: de homepage, dienstenpagina’s, over-ons-pagina, contactpagina en blogartikelen staan in de sitemap. Het beheerpaneel, bedankpagina’s na formulieren, tijdelijke campagnetests en interne zoekresultaten beheer je met robots.txt of noindex. Bij zo’n website bevat de sitemap meestal ergens tussen de 20 en 200 URL’s.

Bij een middelgrote webshop kun je product-, categorie-, merk- en blog-sitemaps apart houden. Actieve producten voeg je toe, permanent verwijderde producten haal je eruit en relevante alternatieven stuur je door met een 301-redirect. Filter-URL’s analyseer je één voor één. Filters met zoekvolume en conversiepotentieel bouw je om tot volwaardige categoriepagina’s; de rest beheer je met een combinatie van robots.txt, canonical of noindex.

Voor een grote blog of nieuwssite zijn publicatiedatums, updatedatums, categorieopbouw en interne links extra belangrijk. Wanneer oudere content wordt verbeterd, moet lastmod correct veranderen, maar kunstmatige updates zonder echte inhoudelijke verbetering kun je beter vermijden. Het signaal waar Google meer vertrouwen in heeft, is daadwerkelijke contentverbetering.

Veelgestelde vragen

Blokkeert robots.txt indexatie volledig?

Nee. Robots.txt blokkeert crawling, maar voorkomt indexatie niet in alle gevallen. Als een URL vanaf andere websites wordt gelinkt, kan Google die URL soms toch in de index tonen zonder de pagina te crawlen. Wil je indexatie voorkomen, dan gebruik je meestal een noindex-tag of passende toegangsbeperking.

Zorgt een sitemap voor hogere posities in Google?

Een sitemap geeft geen directe rankinggarantie. Wel helpt een sitemap belangrijke pagina’s sneller te ontdekken, updates door te geven aan zoekmachines en de technische SEO-hygiëne te verbeteren. Voor rankings heb je daarnaast sterke content, links, goede gebruikerservaring, snelheid en vertrouwenssignalen nodig.

Is het verplicht om een sitemap in robots.txt te vermelden?

Verplicht is het niet, maar het is wel aan te raden. Door de sitemap-URL in robots.txt te zetten, kunnen zoekmachines je sitekaart eenvoudiger vinden. Daarnaast blijft het verstandig om je sitemap ook via Google Search Console in te dienen.

Wat is de sitemap-URL van WordPress?

De standaard WordPress-sitemap staat meestal op /wp-sitemap.xml. Gebruik je een SEO-plugin, dan kan de sitemap-URL /sitemap_index.xml of /sitemap.xml zijn. Controleer daarom altijd welke URL jouw plugin of configuratie gebruikt.

Hoeveel URL’s mogen er in een sitemap staan?

Eén XML-sitemap mag maximaal 50.000 URL’s bevatten en niet groter zijn dan 50 MB. Bij grotere websites is een sitemap-index de beste aanpak, waarbij je content opsplitst in aparte bestanden voor pagina’s, berichten, producten, categorieën of afbeeldingen.

Conclusie

Robots.txt en sitemap zijn twee onderdelen van technische SEO die klein lijken, maar veel impact kunnen hebben. Robots.txt stuurt het crawlgedrag van bots, terwijl de sitemap belangrijke URL’s makkelijker vindbaar maakt. Voor een goede configuratie laat je belangrijke pagina’s open, beperk je onnodige onderdelen gecontroleerd, neem je alleen indexeerbare URL’s op in de sitemap en monitor je alles regelmatig via Google Search Console.

Wil je de technische basis van je website stevig neerzetten, begin dan met betrouwbare hosting, goed domeinbeheer en een correcte SSL-configuratie. Bekijk de oplossingen van Hostragons voor Webhosting, domein en SSL certificaat om een snelle, veilige en SEO-vriendelijke infrastructuur voor je website op te bouwen.