Wat is web scraping en hoe voorkomt u dat bots uw website leegtrekken?

Web scraping, ook wel data scraping of geautomatiseerd gegevens verzamelen genoemd, is het systematisch ophalen van content van een website met bots, scripts of andere automatiseringstools. Legitieme bots, zoals crawlers van zoekmachines, zijn nuttig voor het webecosysteem: ze helpen pagina’s indexeren, previews maken en content vindbaar houden. Kwaadwillende of ongewenste scraperbots daarentegen kunnen zonder toestemming prijzen, productinformatie, voorraadstanden, teksten, e-mailadressen, afbeeldingen, vacatures, advertenties of gebruikersgegevens kopiëren. Dat kost bandbreedte, kan uw SEO-prestaties onder druk zetten, verhoogt serverkosten en kan commerciële informatie rechtstreeks bij concurrenten doen belanden. Web scraping is daarom niet alleen een technisch onderwerp, maar raakt ook beveiliging, performance, juridische bescherming, merkreputatie en omzetbehoud.

Anno 2026 bestaat botverkeer allang niet meer alleen uit eenvoudige scripts die zich makkelijk laten herkennen. Headless browsers, AI-gestuurde dataverzamelaars, roterende proxy-netwerken, imitatie van mobiele user-agents en automatisering die menselijk klik- en scrollgedrag nabootst, zijn inmiddels normaal geworden. Daardoor is één regel in robots.txt of een eenvoudige CAPTCHA vaak niet genoeg. Een effectieve verdediging ontstaat pas door meerdere lagen te combineren: loganalyse, rate limiting, WAF-regels, gedragsdetectie, caching, API-beveiliging, duidelijke toegangsregels en een solide hostinginfrastructuur.

In deze gids leggen we uit wat web scraping precies is, hoe u het verschil herkent tussen nuttige bots en schadelijke scraperbots, welke signalen erop wijzen dat uw website wordt leeggetrokken en welke praktische maatregelen u binnen een Hostragons-omgeving kunt nemen. Het doel is niet om uw content volledig onzichtbaar te maken. U wilt echte bezoekers en zoekmachines blijven bedienen, terwijl u de kosten en moeite voor schadelijke bots zo hoog mogelijk maakt en de resources van uw website beschermt.

Hoe werkt web scraping?

Web scraping verloopt meestal in drie stappen: de doelpagina’s worden gevonden, de HTML- of API-responses worden opgehaald en de gewenste gegevens worden uit die response gehaald. Een eenvoudige scraper kan bijvoorbeeld met CSS-selectors de titel, prijs en voorraadstatus van een productpagina uitlezen. Een geavanceerdere bot wacht op data die via JavaScript wordt ingeladen, klikt door de pagina, bewaart cookies, logt in op accounts en wisselt regelmatig van IP-adres om detectie te vermijden.

Stel dat uw webshop 25.000 producten bevat en dat elke productpagina gemiddeld 900 KB aan data oplevert. Als een kwaadwillende bot uw volledige catalogus zes keer per dag scant, ontstaat er ongeveer 135 GB extra verkeer per dag. Dat verkeer verbruikt niet alleen bandbreedte; het zet ook databasequeries, PHP-processen, CPU-gebruik en cacheverversing onder druk. Op shared hosting kunt u daardoor sneller tegen resource-limieten aanlopen. Op een VPS of dedicated server betekent het vooral onnodige kosten en capaciteitsverlies. Voor een goede resourceplanning kunt u Hostingpakketten bekijken, en bij behoefte aan meer controle zijn VPS-serveroplossingen een logische volgende stap.

Het verschil tussen legitieme bots en schadelijke scraperbots

Niet elke bot is slecht. Googlebot, Bingbot en bots van sociale netwerken zorgen ervoor dat uw website gevonden, geïndexeerd en goed weergegeven wordt wanneer iemand een link deelt. Scraperbots die data willen kopiëren, gedragen zich meestal anders: ze vermelden zelden een betrouwbare bron, beperken hun crawlsnelheid niet, kopiëren commerciële gegevens en negeren toegangsregels. Het onderscheid goed maken is belangrijk. Een te agressieve beveiligingsregel kan ook zoekmachinebots blokkeren en daarmee uw organische verkeer laten dalen.

Waarom is web scraping riskant?

1. Het verbruikt serverresources

Bots genereren HTTP-verzoeken net als echte bezoekers. Het verschil zit in schaal en snelheid. Waar een mens misschien een paar pagina’s per minuut bekijkt, kan een kwaadwillende bot tientallen pagina’s per seconde opvragen. Vooral zoekpagina’s, filters, categorieën, productvarianten en dynamische rapportpagina’s kunnen de database zwaar belasten. CPU-gebruik stijgt, PHP-FPM-wachtrijen lopen op, TTFB wordt hoger en echte bezoekers ervaren een tragere website. Als Core Web Vitals verslechteren, kan dat indirect ook invloed hebben op uw zichtbaarheid in zoekmachines.

2. Uw originele content wordt gekopieerd

Wanneer blogartikelen, categorieomschrijvingen, technische documentatie en afbeeldingen zonder toestemming worden overgenomen, daalt de waarde van uw eigen content. Google probeert meestal de oorspronkelijke bron te herkennen, maar scraperwebsites die razendsnel publiceren kunnen in sommige zoekopdrachten tijdelijk zichtbaarheid winnen. Vooral wanneer nieuwe content binnen enkele minuten wordt gekopieerd, worden sitemap-indiening, interne linkstructuur en snelle indexeringssignalen extra belangrijk. Voor uw contentstrategie kunt u met SEO-vriendelijke website aanmaken een ondersteunende basis leggen.

3. Prijs- en voorraadinformatie wordt door concurrenten gevolgd

Bij e-commerce is prijsmonitoring een van de meest voorkomende redenen voor scraping. Concurrenten kunnen automatisch uw productnamen, voorraadstatussen, actiedata, verzendvoorwaarden en kortingsinformatie volgen. Die data kan vervolgens worden gebruikt voor realtime prijsverlagingen of agressieve biedstrategieën. In sectoren met lage marges kan dit direct leiden tot omzetverlies of druk op winstgevendheid.

4. Beveiligingszwaktes kunnen worden ontdekt

Scraperbots halen niet altijd alleen data op. Soms brengen ze ook uw URL-structuur, parameters, foutmeldingen en sporen van beheerpanelen in kaart. Ziet u veel 404-, 403- of 500-responses, of opvallend veel combinaties van vreemde parameters, dan kan dat wijzen op een verkennende fase. Op dat moment zijn SSL, actuele software, veilige toegang tot beheerderspanelen en regelmatige back-ups geen luxe maar basisvoorwaarden. Voor de eerste beveiligingslaag kunt u verwijzen naar SSL certificaat en website back-up.

Signalen dat uw website door scraperbots wordt leeggetrokken

De betrouwbaarste manier om botverkeer te begrijpen is het analyseren van access logs. Alleen naar Google Analytics kijken is onvoldoende, omdat veel bots geen JavaScript uitvoeren en daardoor analyticscodes niet activeren. Controleer daarom regelmatig de access logs, error logs en resourcegrafieken in uw hostingpaneel.

• In korte tijd honderden verzoeken vanaf hetzelfde IP-adres of IP-blok.
• Ongebruikelijke drukte op product-, categorie-, zoek- of filter-URL’s.
• Directe toegang tot diepe pagina’s zonder normale gebruikersroute.
• Een lege, zeer oude of verdachte user-agent.
• Plotselinge pieken in verkeer en CPU-gebruik tijdens nachtelijke uren.
• Veel 404-, 403- of 429-statuscodes.
• Intensieve pageviews zonder acties zoals toevoegen aan winkelwagen, formulierinzendingen of accountregistraties.
• Dezelfde reeks URL’s die vanaf verschillende IP-adressen in precies dezelfde volgorde wordt bezocht.

Een praktische drempel: als een gemiddelde bezoeker vier pagina’s per sessie bekijkt, maar één specifiek IP-adres binnen tien minuten 300 productpagina’s opvraagt, is dat geen menselijk gedrag. Hetzelfde geldt wanneer één user-agent op één dag meerdere keren alle URL’s uit uw sitemap bezoekt. Dan is het tijd om crawlbeperkingen in te stellen.

12 praktische manieren om te voorkomen dat bots uw website leegtrekken

1. Begin met loganalyse

Meet eerst, blokkeer daarna. Bekijk in access logs velden zoals IP-adres, tijdstip, request path, statuscode, referer en user-agent. Maak lijsten van de IP-adressen met de meeste verzoeken, de meest opgevraagde URL’s en de meest voorkomende foutcodes. In Linux kunt u met awk, grep en sort snel patronen vinden. Gebruikt u een hostingcontrolepaneel, schakel dan verkeersstatistieken en ruwe logbestanden in. Voor het monitoren van resourcegebruik bij Hostragons kan Gebruik van het hosting controlepaneel als interne verwijzing worden gebruikt.

2. Gebruik robots.txt op de juiste manier

robots.txt is een bestand dat goedwillende bots instructies geeft; het is geen firewall. Het beschermt geen geheime pagina’s en houdt kwaadwillende scraperbots niet tegen. Toch is het nuttig voor het beheren van crawlbudget, bijvoorbeeld voor zoekresultatenpagina’s, filterparameters, tijdelijke mappen buiten het beheerpanel en pagina’s met lage waarde.

U kunt bijvoorbeeld Disallow-regels gebruiken om eindeloze filtercombinaties te beperken. Wees wel voorzichtig met gevoelige paden. Door geheime bestandslocaties expliciet in robots.txt te zetten, geeft u aanvallers soms juist een routekaart. Beschouw robots.txt dus als een hulpmiddel voor crawlmanagement, niet als beveiligingsmechanisme.

3. Pas rate limiting toe

Rate limiting beperkt hoeveel verzoeken een IP-adres, sessie, gebruikersaccount of API-sleutel binnen een bepaalde periode mag doen. Denk aan maximaal 60 paginaverzoeken per minuut voor anonieme bezoekers, 20 verzoeken per minuut voor een zoekendpoint of vijf inlogpogingen per vijf minuten. Wordt de limiet overschreden, dan is een 429 Too Many Requests-response een gangbare aanpak.

Deze methode werkt vooral goed voor productlijsten, zoekfuncties, filters en API-endpoints. De juiste drempels hangen af van uw sector. Een nieuwssite kan plots veel verkeer krijgen via Google Discover, terwijl het gedrag van echte bezoekers in een webshop tijdens een campagne sterk kan veranderen. Analyseer daarom minimaal zeven dagen normaal verkeer voordat u harde regels instelt.

4. Gebruik een Web Application Firewall

Een WAF filtert verdachte verzoeken voordat ze uw applicatie bereiken. SQL-injection, XSS, kwaadaardige user-agents, afwijkende requestfrequenties, bekende slechte IP-adressen en automatiseringssignaturen kunnen via een WAF worden tegengehouden. Effectieve WAF-oplossingen in 2026 werken niet alleen met statische signatures, maar ook met gedragsanalyse en risicoscores.

Of u nu WordPress, WooCommerce, Laravel, OpenCart of maatwerksoftware gebruikt: een WAF-laag is een belangrijke verdedigingslinie tegen bots. Gebruikt u een beveiligingsplugin op applicatieniveau, plan dan idealiter ook extra bescherming op serverniveau. Bij het kiezen van beveiligingsinfrastructuur kunnen Veilige hosting en WordPress hosting op natuurlijke wijze worden gekoppeld.

5. Verminder dynamische belasting met CDN en caching

Zelfs wanneer u scrapingbots niet volledig kunt blokkeren, kunt u de impact ervan beperken. Een CDN serveert statische bestanden en geschikte pagina’s vanaf edge-servers, waardoor uw originserver minder zwaar wordt belast. Caching vermindert databasequeries op categoriepagina’s, blogartikelen en productdetailpagina’s. Let wel op dat winkelwagen, checkout, ledenomgevingen en gepersonaliseerde onderdelen zorgvuldig worden uitgesloten.

Als een blogartikel 10.000 keer door bots wordt opgevraagd, is het veel efficiënter om vanuit cache te antwoorden dan telkens PHP en de database aan het werk te zetten. Deze aanpak is niet alleen beveiliging, maar ook performance-optimalisatie. Snellere websites bieden een betere gebruikerservaring en hebben vaak een voordeel in SEO.

6. Gebruik CAPTCHA alleen op risicovolle plekken

CAPTCHA op elke pagina plaatsen is funest voor de gebruikerservaring. Gebruik het daarom alleen waar het risico hoog is: bezoekers die extreem veel zoeken, IP-adressen die veel formulieren verzenden, mislukte inlogpogingen, coupon-testschermen of voorraadquery-endpoints. Moderne oplossingen werken vaak met onzichtbare CAPTCHA, gedragsanalyse en risicoscores.

Het is bijvoorbeeld onverstandig om een CAPTCHA te tonen aan iemand die de eerste twintig productpagina’s bekijkt. Maar een anonieme bezoeker die binnen twee minuten 150 productdetails opent, mag best een extra verificatiestap krijgen.

7. Voeg honeypots en valstrikken toe

Een honeypot is een verborgen formulierveld of onzichtbare link die echte gebruikers niet zien, maar die bots mogelijk wel invullen of volgen. Doet een bot dat, dan kan de risicoscore worden verhoogd. Dit is een praktische manier om automatisering te detecteren zonder de ervaring van echte bezoekers te verstoren.

Let wel op toegankelijkheid. U wilt gebruikers met screenreaders niet per ongeluk in een val laten lopen. Verborgen velden moeten correct gelabeld zijn en de server-side controle moet zorgvuldig worden ingericht.

8. Bescherm API-endpoints met authenticatie

Veel moderne websites laden data niet meer rechtstreeks in de HTML, maar via API-responses. Scraperbots kunnen met browserontwikkelaarstools deze endpoints vinden en ze vervolgens rechtstreeks aanroepen. Gebruik daarom tokens, signatures, tijdstempels, rate limits en autorisatiecontroles voor API-verzoeken. Voorraad-, prijs-, gebruikers- of rapportage-endpoints die niet publiek hoeven te zijn, mogen niet anoniem toegankelijk blijven.

Heeft u een mobiele app of externe integraties, maak dan aparte API-sleutels aan. Stel per sleutel quota in en schort toegang automatisch op bij afwijkend gebruik. Voor integratiearchitecturen is Gidsen voor API en Integratie een natuurlijke interne link.

9. Vertrouw niet uitsluitend op user-agent-blokkering

User-agent-blokkering is eenvoudig, maar niet betrouwbaar. Kwaadwillende bots kunnen zich voordoen als Chrome, Safari of Googlebot. Sterker nog: wie een vermeende Googlebot alleen op user-agent vertrouwt zonder reverse DNS-controle, loopt risico legitiem verkeer verkeerd te beoordelen. Gebruik user-agentinformatie als één signaal in uw besluitvorming, niet als doorslaggevend bewijs.

Een betere aanpak combineert IP-reputatie, requestsnelheid, URL-volgorde, cookiegedrag, JavaScript-uitvoering en sessieconsistentie. Pas wanneer meerdere signalen samen verdacht zijn, is blokkeren of extra verificatie verstandig.

10. Gebruik dynamische content en datamaskering

Beperk gegevens die niet per se publiek zichtbaar hoeven te zijn. B2B-prijzen kunnen bijvoorbeeld alleen aan ingelogde klanten worden getoond. E-mailadressen kunnen vervangen worden door contactformulieren in plaats van platte tekst. Bij grote catalogi is het veiliger om niet alle variatiedata in één HTML-document te plaatsen, maar deze gecontroleerd en alleen wanneer nodig via endpoints beschikbaar te maken.

Datamaskering maakt geautomatiseerd kopiëren van gevoelige commerciële informatie moeilijker zonder de ervaring van echte gebruikers te verpesten. Overdrijf echter niet: te veel afscherming kan SEO, conversie en gebruiksgemak schaden. Ontwerp dit dus met balans.

11. Maak juridische teksten en gebruiksvoorwaarden duidelijk

Technische maatregelen zijn belangrijk, maar een juridische basis ook. Neem in uw gebruiksvoorwaarden duidelijke bepalingen op over automatisch dataverzamelen, contentkopieën, prijsmonitoring, database-reproductie en commercieel hergebruik. Laat u juridisch adviseren over auteursrecht, merkgebruik, databankrechten en persoonsgegevens. Zulke teksten stoppen bots technisch niet, maar versterken uw positie wanneer u overtredingen moet aantonen of handhaven.

12. Bereid uw hostinginfrastructuur voor op botverkeer

Zwakke infrastructuur kan al bij relatief weinig botverkeer problemen geven. Een actuele PHP-versie, HTTP/2- of HTTP/3-ondersteuning, krachtige caching, veilige isolatie, regelmatige back-ups, DDoS-bewustzijn en schaalbare resources beperken de impact van bots. Voor een kleine zakelijke website kan shared hosting voldoende zijn. Voor projecten met een grote catalogus, veel campagnetraffic of ledenfunctionaliteit is een VPS of dedicated server vaak logischer. Domein- en DNS-beveiliging horen ook bij het totaalplaatje; als startpunt kunt u Domeinsopzoeking en Veilige DNS-beheer gebruiken.

Extra maatregelen tegen web scraping voor WordPress-websites

WordPress-websites zijn populair en daardoor vaak doelwit van bots. XML-RPC, de REST API, zoekpagina’s, auteursarchieven, reactieformulieren en het loginscherm verdienen extra aandacht. Als XML-RPC niet nodig is, kan het worden uitgeschakeld. Gevoelige REST API-endpoints kunnen worden beperkt, het aantal inlogpogingen kan worden gelimiteerd en betrouwbare beveiligingsplugins kunnen extra bescherming bieden.

• Laat de beheerdersgebruikersnaam niet op admin staan.
• Beperk inlogpogingen per IP-adres en per gebruiker.
• Gebruik honeypots en spambeveiliging in reactieformulieren.
• Configureer wp-json-endpoints zo dat ze geen onnodige data lekken.
• Schakel hotlinkbescherming voor afbeeldingen in.
• Plan cacheplugins en server-side caching als één geheel.

Voor WordPress-projecten met veel botverkeer is een geoptimaliseerde serverconfiguratie belangrijker dan een standaardinstallatie. Kijk bij de keuze voor WordPress hosting daarom niet alleen naar schijfruimte, maar ook naar beveiligingslagen, back-ups, resourcelimieten en de kwaliteit van technische ondersteuning.

Specifieke botbescherming voor webshops

Bij webshops moet botbescherming nauwkeurig worden afgesteld, omdat echte klanten ook veel productpagina’s kunnen bekijken. Valse positieven kunnen direct omzet kosten. Behandel daarom productdetails, categorieën, zoekfuncties, voorraadqueries, couponpogingen, winkelwagen en checkout als aparte risicogebieden met eigen regels.

Een voorbeeldstrategie: productdetailpagina’s worden vanuit cache geserveerd, het zoekendpoint wordt beperkt tot 20 verzoeken per minuut, voorraadgegevens worden alleen via gecontroleerde calls binnen de pagina getoond, couponpogingen worden per account gelimiteerd en de checkout krijgt sterkere botbescherming. Als één IP-adres binnen vijf minuten 500 productpagina’s bezoekt, kan eerst een 429-response worden gegeven en daarna tijdelijk een IP-blokkade volgen. Tijdens campagneperiodes kunnen drempels tijdelijk worden versoepeld of aangepast aan hogere echte bezoekersaantallen.

Waar u op moet letten om verkeerde blokkades te voorkomen

Het grootste risico bij botblokkering is dat u echte gebruikers of legitieme zoekmachines tegenhoudt. Googlebot per ongeluk blokkeren kan indexverlies veroorzaken. Sociale mediabots blokkeren kan ervoor zorgen dat linkpreviews niet goed laden. Callback-verzoeken van betaalproviders tegenhouden kan orderproblemen opleveren. Test daarom elke regel eerst in monitoringmodus en voer maatregelen daarna gefaseerd in.

• Gebruik voor Googlebot-verificatie niet alleen de user-agent, maar ook IP- en reverse DNS-controle.
• Pas eerst rate limiting en extra verificatie toe voordat u direct blokkeert.
• Activeer nieuwe regels bij voorkeur tijdens uren met weinig verkeer.
• Controleer 403- en 429-responses dagelijks.
• Whitelist IP-adressen van betaalproviders, vervoerders, marketplaces en boekhoudintegraties.
• Controleer regelmatig de crawlstatistieken in Search Console.

Stap-voor-stap snel implementatieplan

Botbescherming hoeft niet meteen een groot en ingewikkeld project te zijn. Het is vaak verstandiger om gefaseerd te werken. Het onderstaande plan biedt een haalbaar startpunt voor bedrijven met een klein technisch team.

• Dag 1: Download access logs en lijst de IP-adressen en URL’s met de meeste verzoeken.
• Dag 2: Controleer uw robots.txt en beperk overbodige crawlgebieden.
• Dag 3: Stel rate limiting in voor zoek-, filter-, login- en formulierendpoints.
• Dag 4: Zet WAF- of beveiligingspluginregels eerst in monitoringmodus.
• Dag 5: Controleer cache- en CDN-instellingen en sluit dynamische pagina’s correct uit.
• Dag 6: Voeg tijdelijke blokkaderegels toe voor verdachte IP- en user-agentpatronen.
• Dag 7: Vergelijk 403-, 429-, organisch verkeer- en conversiedata en verfijn de drempels.

Na dit plan is uw website niet honderd procent scrape-proof. Dat is in de praktijk ook geen realistisch doel. Wel verhoogt u de kosten van automatisch dataverzamelen aanzienlijk. Bots kiezen meestal de makkelijkste prooi. Een website met duidelijke regels, goede caching, actief toezicht en gezonde resourcebescherming is voor scrapers minder aantrekkelijk dan een onbeschermde concurrent.

Conclusie: web scraping bestrijdt u met beveiliging in lagen

Web scraping is een realiteit voor moderne websites. De kunst is niet om elke bot te blokkeren, maar om legitieme crawlers te blijven bedienen terwijl schadelijke bots veel minder rendement halen uit hun pogingen. Loganalyse, rate limiting, WAF, CDN, API-beveiliging, correct gebruik van robots.txt, juridische voorwaarden en een sterke hostingbasis werken het best wanneer ze samen worden ingezet. Zo beschermt u niet alleen de prestaties van uw website, maar ook uw commerciële data.

Wilt u uw website op Hostragons laten groeien en tegelijkertijd veiligheid, snelheid en schaalbaarheid goed plannen, dan kunt u uw huidige hostingomgeving evalueren en passende opties zoals Web Hosting of VPS server bekijken. De juiste infrastructuur is in de strijd tegen bots een stille, maar krachtige verdedigingslaag.

Veelgestelde vragen

Is web scraping legaal?

Web scraping is niet automatisch legaal of illegaal in alle situaties. De soort data, het doel van gebruik, de gebruiksvoorwaarden van de website, de aanwezigheid van persoonsgegevens en auteursrechten zijn allemaal bepalend. Een beperkte technische analyse van publieke pagina’s is iets anders dan het zonder toestemming kopiëren van een commerciële database. Voor een duidelijk bedrijfsbeleid is juridisch advies verstandig.

Blokkeert robots.txt scraperbots?

Nee. robots.txt is een instructiebestand dat goedwillende bots vertelt welke delen ze niet zouden moeten crawlen; het is geen technische beveiligingsbarrière. Kwaadwillende bots kunnen dit bestand simpelweg negeren. Voor echte bescherming zijn aanvullende maatregelen nodig, zoals een WAF, rate limiting, toegangscontrole en logmonitoring.

Hoe onderscheid ik Googlebot van een nepbot?

Vertrouw niet alleen op de user-agent. Nepbots kunnen zich voordoen als Googlebot. Controleer met reverse DNS en forward DNS of het IP-adres daadwerkelijk bij Google hoort. Vergelijk daarnaast crawlsnelheid, URL-gedrag en crawlgegevens in Search Console om een vollediger beeld te krijgen.

Stopt CAPTCHA bots volledig?

CAPTCHA vertraagt bepaalde vormen van automatisering, maar is op zichzelf geen definitieve oplossing. Geavanceerde bots kunnen CAPTCHA-oplosdiensten, sessie-imitatie of echte browserautomatisering gebruiken. CAPTCHA werkt het best in combinatie met rate limiting, WAF, gedragsanalyse en risicogebaseerde verificatie.

Heeft botverkeer invloed op mijn hostingprestaties?

Ja. Intensief botverkeer kan CPU, RAM, databasecapaciteit, bandbreedte en PHP-proceslimieten verbruiken. Echte bezoekers kunnen daardoor tragere pagina’s, foutmeldingen en lagere conversie ervaren. Caching, CDN, snelheidslimieten en de juiste keuze voor een hostingpakket verminderen de impact van botverkeer.