AI-crawlers in robots.txt: GPTBot blokkeren of toestaan?

Of je GPTBot moet blokkeren of toestaan, hangt af van één vraag: wil je dat je content wordt gebruikt om AI-modellen te trainen? GPTBot is namelijk een trainingsbot. Je zichtbaarheid in de zoekantwoorden van ChatGPT hangt aan een andere bot, OAI-SearchBot. Wie dat onderscheid niet maakt, blokkeert vaak de verkeerde bot en verdwijnt uit AI-antwoorden zonder het te merken.

Dit artikel is een praktische how-to binnen onze complete gids over GEO. Je krijgt een overzicht van alle belangrijke AI-crawlers, twee kant-en-klare voorbeeldbestanden en uitleg over hoe robots.txt regels toepast. Daarna behandelen we een veelvoorkomende valkuil: een robots.txt die alles toestaat, terwijl de firewall de bots alsnog tegenhoudt.

#Zoekbots en trainingsbots doen iets anders

AI-bots vallen uiteen in twee groepen: zoek- en ophaalbots die bepalen of je in AI-antwoorden verschijnt, en trainingsbots die content verzamelen om modellen te trainen. Een zoekbot bouwt een index waaruit een AI-zoekmachine bronnen haalt en citeert. Een ophaalbot bezoekt een pagina op het moment dat een gebruiker daarom vraagt. Een trainingsbot verzamelt tekst voor toekomstige modelversies, zonder dat daar een bronvermelding tegenover staat.

Blokkeer je een zoekbot, dan kan een AI-zoekmachine je pagina niet meer als bron gebruiken. Blokkeer je een trainingsbot, dan verandert er volgens de documentatie van de grote partijen niets aan je zichtbaarheid in hun zoekfuncties. Hoe die bronkeuze verder werkt, lees je in ons artikel over hoe AI-zoekmachines bronnen kiezen.

#Overzicht van de AI-crawlers per partij

De tabel hieronder zet de AI-bots van de grootste partijen op een rij, met hun doel en het effect van blokkeren. Alle gegevens komen uit de officiële documentatie, die per partij gelinkt staat.

De bronnen: OpenAI over zijn crawlers, Google over zijn crawlers en AI-functies in Search, Anthropic over zijn crawlers, Perplexity over zijn bots, Apple over Applebot, Meta over zijn crawlers, Microsoft over Bing en AI-antwoorden en Common Crawl over CCBot.

#Drie nuances die je moet kennen

Google-Extended is geen aparte crawler maar alleen een token in robots.txt. Google schrijft letterlijk dat Google-Extended geen eigen user-agent-string in HTTP-verzoeken heeft. Googlebot crawlt, en de token bepaalt wat Google met die content mag doen. Volgens Google heeft de token geen invloed op opname in Google Search en is hij geen rankingsignaal. Voor AI Overviews en AI Mode is Googlebot de controle. Let wel op: Google-Extended stuurt ook grounding in Gemini-apps, dus blokkeren kan je zichtbaarheid daar verminderen.

Applebot-Extended werkt hetzelfde. Apple schrijft dat Applebot-Extended zelf geen pagina's crawlt. Pagina's die deze token blokkeren, blijven volgens Apple vindbaar via Spotlight, Siri en Safari.

Ophaalbots zoals ChatGPT-User, Perplexity-User en Meta-ExternalFetcher volgen robots.txt niet altijd. OpenAI, Perplexity en Meta geven alle drie aan dat robots.txt mogelijk niet geldt, omdat een gebruiker het verzoek doet.

#Hoe robots.txt bepaalt welke regel geldt

Een crawler volgt in robots.txt alleen de groep die het meest specifiek bij zijn eigen naam past, en valt pas terug op de groep User-agent: * als er geen eigen groep is. Dat staat in RFC 9309, de officiële standaard voor robots.txt. Google bevestigt in zijn robots.txt-documentatie dat specifieke groepen en de *-groep niet worden gecombineerd.

Dit heeft een praktisch gevolg dat veel mensen missen. Stel dat je onder * de map /admin/ blokkeert en daarnaast een eigen groep voor GPTBot maakt. GPTBot negeert dan de *-groep volledig, dus ook de regel voor /admin/. Herhaal regels die voor iedereen moeten gelden daarom in elke eigen groep.

Binnen een groep wint de meest specifieke regel, gemeten aan de lengte van het pad. Disallow: /blog/ verliest dus van Allow: /blog/gids/ voor alles onder /blog/gids/. Zijn een Allow- en een Disallow-regel even specifiek, dan hoort volgens RFC 9309 de Allow-regel te winnen. De naam van de bot is niet hoofdlettergevoelig: gptbot en GPTBot werken allebei. Paden zijn dat wel.

#Voorbeeld: zichtbaar in AI-antwoorden, maar niet trainen

Met dit bestand blijven zoek- en ophaalbots welkom, terwijl de trainingsbots en trainingstokens worden uitgesloten. Het is een redelijke keuze als je bereik in AI-antwoorden wilt, maar je content niet voor modeltraining beschikbaar wilt stellen.

# Trainingsbots en trainingstokens uitsluiten
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: CCBot
Disallow: /

# Alle andere bots, waaronder OAI-SearchBot, Claude-SearchBot,
# PerplexityBot, Googlebot, Applebot en bingbot
User-agent: *
Disallow: /admin/

Sitemap: https://www.jouwdomein.nl/sitemap.xml

Twee kanttekeningen bij dit voorbeeld. Door Google-Extended te blokkeren, sluit je ook grounding in Gemini-apps uit. Wil je daar wel zichtbaar zijn, laat die regel dan weg. Meta noemt voor meta-externalagent naast training ook het indexeren van content voor eigen producten. Het is dus geen zuivere trainingsbot.

#Voorbeeld: alles toestaan

Wil je maximale zichtbaarheid en heb je geen bezwaar tegen training, dan volstaat een kort bestand zonder aparte AI-groepen. Elke bot valt dan onder de *-groep.

User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://www.jouwdomein.nl/sitemap.xml

Een eigen groep per AI-bot is hier niet nodig. Voeg er alleen een toe als je die bot iets anders wilt laten doen dan de rest. Een llms.txt-bestand is een aanvulling op robots.txt, geen vervanging: robots.txt regelt toegang, llms.txt geeft taalmodellen een samenvatting van je site.

#Microsoft regelt AI-gebruik met meta-tags

Microsoft gebruikt geen aparte AI-token in robots.txt, maar de robots-meta-tags NOCACHE en NOARCHIVE. Volgens de aankondiging van Bing sluit NOARCHIVE een pagina uit van chatantwoorden en van training. Met NOCACHE mag Bing alleen de URL, de titel en een snippet tonen. Pagina's met een van beide tags blijven in de gewone Bing-zoekresultaten staan. Blokkeer bingbot dus niet in robots.txt als je alleen het AI-gebruik wilt beperken.

#De valkuil: je firewall blokkeert wat robots.txt toestaat

Een open robots.txt garandeert niet dat AI-bots je site echt kunnen lezen, want een firewall of CDN kan ze eerder in de keten weigeren. Robots.txt is een verzoek aan de bot. Een firewall is een technische blokkade die het verzoek tegenhoudt voordat je server het ziet. De bot krijgt dan een foutcode of een uitdagingspagina in plaats van je content.

Cloudflare is het bekendste voorbeeld. Het biedt AI Crawl Control, waarmee je per crawler allow- of blockregels instelt, en de oudere instelling Block AI bots. Volgens Cloudflare stelt het vanaf 15 september 2026 nieuwe standaarden in voor nieuwe domeinen. Daarbij worden trainings- en agentbots op pagina's met advertenties geblokkeerd, terwijl zoekbots toegestaan blijven. Ook andere hostingpartijen en beveiligingsplug-ins blokkeren soms onbekende bots. Je ziet dat niet in je robots.txt terug.

#Zo test je of een AI-bot je site echt bereikt

Je test dit door je site op te vragen met de user-agent van een AI-bot en te kijken welk antwoord je krijgt. Flowproof doet precies dit met de user-agent van GPTBot. Zelf kan het met één commando in de terminal:

curl -I -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" https://www.jouwdomein.nl/

Krijg je statuscode 200, dan laat de firewall verzoeken met die user-agent door. Een 403, 429 of 503 wijst op een blokkade. Vergelijk het resultaat met een gewoon browserverzoek: is dat wel 200, dan zit de blokkade bij de user-agent.

Deze test heeft een grens. Sommige firewalls controleren ook het IP-adres van de bot. OpenAI publiceert daarvoor de IP-reeksen, bijvoorbeeld voor GPTBot. Een test vanaf je eigen IP-adres laat dus vooral blokkades op user-agent zien. Een blokkade die alleen echte OpenAI-adressen raakt, of juist alleen vervalste bots, zie je zo niet. De logboeken van je CDN of firewall geven dan uitsluitsel.

#Robots.txt is een verzoek, geen beveiliging

Robots.txt vraagt bots beleefd om bepaalde delen over te slaan, maar houdt niemand technisch tegen. RFC 9309 zegt dat deze regels geen vorm van toegangsautorisatie zijn en geen vervanging voor echte beveiliging. Nette bots van grote partijen houden zich eraan, maar een kwaadwillende scraper kan het bestand negeren. Common Crawl waarschuwt bovendien voor crawlers die zich valselijk als CCBot voordoen.

Het bestand is ook openbaar. Iedereen kan het lezen, dus een Disallow: /geheim/ vertelt juist waar iets interessants staat. Wat echt afgeschermd moet blijven, zet je achter een login of beschermt je met serverinstellingen.

#Zo controleer je dit op je eigen site

Met deze stappen controleer je of AI-bots je site kunnen lezen zoals je wilt.

1. Open https://www.jouwdomein.nl/robots.txt en noteer welke AI-bots een eigen groep hebben.
2. Controleer per groep of zoekbots als OAI-SearchBot, Claude-SearchBot en PerplexityBot niet per ongeluk zijn geblokkeerd.
3. Kijk of regels uit de *-groep die voor iedereen moeten gelden, ook in de eigen groepen staan.
4. Bepaal je keuze voor training en pas de trainingsbots en tokens daarop aan.
5. Controleer de botinstellingen in je CDN, firewall of beveiligingsplug-in.
6. Doe de curl-test met de user-agent van GPTBot en vergelijk die met een gewoon verzoek.

De gratis scan van Flowproof controleert twaalf AI-bots in je robots.txt en doet de firewalltest met de user-agent van GPTBot automatisch. Zo zie je in één overzicht of je robots.txt en je firewall hetzelfde zeggen.