Zo gaan de grootste Nederlandse websites om met AI-crawlers

#De belangrijkste uitkomsten

• 15,5% van de onderzochte sites blokkeert GPTBot, de bot waarmee OpenAI trainingsdata verzamelt. Dat is een legitieme keuze: volgens OpenAI heeft het geen invloed op ChatGPT Search.
• 8% blokkeert ook OAI-SearchBot, de bot waarmee ChatGPT sites in zoekresultaten toont. Wie die bot buitensluit, verschijnt niet als bron in ChatGPT Search.
• 51 van de 65 blokkades van OAI-SearchBot (78,5%) staan in een eigen groep voor die bot. Het gaat dus meestal om een bewuste regel, niet om een algemene User-agent: * die per ongeluk ook AI-bots raakt.
• 0,6% blokkeert Googlebot. Van de sites die minstens één AI-zoekbot weren, houdt 94,2% Googlebot open: ze sluiten AI-zoeken uit, maar niet gewoon zoeken.
• 12,4% heeft een llms.txt. Welke AI-systemen dat bestand gebruiken, is niet bevestigd; we meten alleen of het bestaat.

#Trainingsbots en zoekbots worden vaak samen geblokkeerd

AI-aanbieders gebruiken aparte bots voor het trainen van modellen en voor het tonen van zoekresultaten. OpenAI heeft GPTBot (training), OAI-SearchBot (zoeken) en ChatGPT-User (pagina's die een gebruiker laat ophalen). Anthropic heeft ClaudeBot en Claude-SearchBot, Google heeft Google-Extended naast Googlebot.

Van de 126 sites die GPTBot blokkeren, blokkeert 50,8% ook OAI-SearchBot. Bij 23,8% blijft OAI-SearchBot volledig open: die sites weren training, maar blijven vindbaar in ChatGPT Search. De rest staat deels open.

Voor wie alleen training wil weren, is dat laatste de bedoelde opzet. Wie beide bots in één regel blokkeert, sluit zichzelf ook uit als bron in ChatGPT Search. Dat kan een bewuste keuze zijn, bijvoorbeeld voor uitgevers met betaalde inhoud, maar het is goed om te weten dat het twee verschillende beslissingen zijn.

In totaal blokkeert 17,9% minstens één trainingsbot en 10,6% minstens één AI-zoekbot (OAI-SearchBot, PerplexityBot of Claude-SearchBot).

#Blokkades via User-agent: *

Een bot zonder eigen groep in robots.txt volgt de groep User-agent: *. Staat daar Disallow: /, dan is de site voor die bot dicht, ook als niemand dat voor AI-bots heeft bedoeld.

Bij OAI-SearchBot gebeurt dat in 14 gevallen (21,5% van de blokkades). In 9 daarvan staat Googlebot wel open via een eigen groep: de site werkt met een toegangslijst van toegestane zoekmachines, waar de AI-zoekbots niet op staan. Bij 5 sites is alles dicht, ook voor Google.

Die toegangslijst is een veelvoorkomend patroon dat vóór de komst van AI-zoekmachines is opgezet. Wie wil dat ChatGPT, Perplexity of Claude de site als bron kan tonen, moet die bots er dan apart aan toevoegen.

#llms.txt

101 van de 814 sites (12,4%) heeft een bestand op /llms.txt dat als tekst wordt geserveerd. We telden alleen bestanden die geen HTML-pagina zijn, zodat een foutpagina met status 200 niet meetelt. We beoordeelden de inhoud niet. Meer over het bestand en wat er wel en niet over bekend is, staat in het artikel over llms.txt.

#Methode

• Datum: 21 oktober 2026.
• Lijst: de Tranco-lijst 262W9 (gemiddelde over 2026-09-21 – 2026-10-20), een onderzoekslijst van populaire domeinen. We namen de eerste 1.000 domeinen die op .nl eindigen, in volgorde van rang.
• Verzoeken: per domein één verzoek naar https://<domein>/robots.txt (bij geen antwoord ook https://www.<domein>/robots.txt) en één naar /llms.txt op dezelfde host. Geen andere pagina's. User-agent: FlowproofResearch/1.0 (+https://flowproof.nl/methode), maximaal 4 verzoeken tegelijk, 10 seconden time-out, redirects gevolgd.
• Regels: robots.txt gelezen volgens RFC 9309: een eigen groep voor de bot gaat vóór User-agent: *, groepen voor dezelfde bot worden samengevoegd, de langste overeenkomende regel wint en bij gelijke lengte wint Allow. Product-tokens zijn niet hoofdlettergevoelig.
• Status per bot: geblokkeerd als de homepage (/) dicht is voor de bot; deels als de homepage open is maar minstens één ander pad is afgeschermd dat niet op onze lijst van gebruikelijke privépaden staat (zoals /admin, /checkout en /account); anders open. Dezelfde logica gebruikt de gratis AI-crawler-checker en de volledige scan, beschreven op de pagina over de methode van Flowproof.
• Geen robots.txt: een 404 of een HTML-pagina in plaats van robots.txt telt als "geen regels", dus alles open. Dat schrijft RFC 9309 voor. Het gold voor 104 sites; 710 hadden een robots.txt.
• Niet meegeteld: 186 domeinen gaven geen antwoord, een serverfout (5xx) of een 401, 403 of 429. Veel daarvan zijn technische domeinen zonder website. Een 403 of 429 is vaak een firewallreactie op onze user-agent en zegt niet wat een AI-bot krijgt, daarom tellen we die niet als "alles open". Alle percentages gaan over de 814 overige domeinen.

#Beperkingen

• robots.txt is een verzoek, geen slot. Een site die AI-bots in robots.txt toelaat, kan ze alsnog weren met een firewall of CDN-regel. Dat hebben we niet gemeten: we deden geen paginaverzoeken als AI-bot.
• Alleen de homepage. De status gaat over het pad /. Een site kan een bot op de homepage toelaten en op andere delen weren; dat valt onder deels.
• Deels is een ruime categorie. Ook het afschermen van filters, zoekresultaten of interne paden die niet op onze lijst staan, telt als deels. Dat is meestal onschuldig; daarom gebruiken we in de kernuitkomsten alleen geblokkeerd.
• Domeinen, geen bedrijven. De Tranco-lijst bevat ook technische en doorverwijzende domeinen. We noemen geen individuele sites; het gaat om totalen.
• Momentopname. robots.txt-bestanden veranderen vaak. De cijfers gelden voor 21 oktober 2026.
• 12 bots. We onderzochten de bots die ook de scan van Flowproof controleert. Andere AI-bots vallen erbuiten.

#Zelf controleren

Met de gratis AI-crawler-checker zie je voor je eigen site welke van deze 12 bots robots.txt toelaat, deels toelaat of blokkeert, en via welke regel. Vragen over het onderzoek of de methode: mail naar jelle@peelmedia.nl.