AI-crawler-checker
Zie in een paar seconden welke van de 12 belangrijkste AI-bots je robots.txt toelaat, deels toelaat of blokkeert. Met uitleg per bot.
Geen account nodig. We slaan je invoer en de uitkomst niet op.
Wat deze tool controleert
- We halen /robots.txt op en lezen de regels volgens de officiële standaard (RFC 9309): de langste overeenkomende regel wint.
- Per bot kijken we of hij een eigen groep heeft of onder de algemene regel (User-agent: *) valt.
- Zoekbots (zoals OAI-SearchBot en PerplexityBot) halen pagina's op voor AI-antwoorden. Trainingsbots (zoals GPTBot) verzamelen tekst voor modeltraining; die blokkeren is een legitieme keuze en staat los van zoeken.
- Blokkeert je firewall of CDN AI-bots, dan ziet deze tool dat niet. De volledige scan test dat wel, met een echt verzoek als OAI-SearchBot, de zoekbot van ChatGPT.
Andere gratis tools
Dit is één onderdeel. De volledige scan kijkt naar meer dan 70.
De gratis scan van Flowproof controleert ook je technische GEO, content, SEO en conversie, en geeft per bevinding concreet advies. Een gratis account is genoeg.