#Waarom AI-crawlers monitoren
Je website is alleen een kandidaat-bron voor ChatGPT, Perplexity of Google AI Overviews als hun bots je pagina's kunnen ophalen. Die toegang kan veranderen zonder dat iemand iets aan de website doet. Een beveiligingsplugin krijgt een update, je hostingpartij past de botfilters aan, of je CDN voert nieuwe standaardinstellingen in. De robots.txt ziet er dan nog net zo uit, maar de bots krijgen een foutcode.
Daarom kijkt Flowproof op twee niveaus. Eerst leest de scan je robots.txt volgens de regels van de standaard: de groep met de naam van de bot gaat voor de algemene groep, en binnen een groep wint de langste overeenkomende regel. Daarna doet de scan een verzoek met de user-agent van OAI-SearchBot, de zoekbot van ChatGPT, en vergelijkt het antwoord met dat van een gewone browser. De achtergrond bij alle bots en voorbeeldbestanden vind je in AI-crawlers in robots.txt.
#Zoekbots en trainingsbots
Niet elke blokkade is een fout. Zoek- en ophaalbots, zoals OAI-SearchBot en PerplexityBot, bepalen of je in AI-antwoorden kunt verschijnen. Trainingsbots, zoals GPTBot en ClaudeBot, verzamelen tekst om modellen te trainen. Flowproof meldt een geblokkeerde zoekbot als probleem. Een geblokkeerde trainingsbot zie je ter informatie, met uitleg over de afweging; die telt niet mee in de score, omdat blokkeren een legitieme keuze is. OpenAI documenteert dat OAI-SearchBot sites laat verschijnen in ChatGPT Search, dat GPTBot voor training is en dat je beide los van elkaar instelt. Hoe AI-systemen de opgehaalde pagina's daarna gebruiken, lees je in hoe AI-zoekmachines bronnen kiezen.
#Wekelijks in de gaten houden
In Pro en Business scant Flowproof je websites elke week automatisch en stuurt een e-mailrapport. Je kiest of je dat altijd krijgt of alleen als er iets verandert. Zo merk je een nieuwe blokkade binnen een week, en niet pas als het verkeer uit AI-antwoorden is weggevallen. De scorehistorie laat zien wanneer de verandering begon.
#Onderdeel van de volledige GEO-check
De crawlercontrole is een van de 9 onderdelen van de GEO-check. Toegang is de eerste stap; daarna gaat het om begrip, met structured data en een llms.txt. Snel één domein testen zonder account kan met de gratis AI-crawler-checker. Lees voor het grotere plaatje de complete gids over GEO, of start direct met een gratis account.