AI-crawler toegang
Worden AI-bots geblokkeerd via robots.txt of een firewall?
- ✕
PerplexityBot (Perplexity)
Geblokkeerd via eigen regel. Deze bot indexeert voor Perplexity-antwoorden.
Voeg toe aan robots.txt: User-agent: PerplexityBot Allow: / Zonder toegang kan Perplexity je niet als bron noemen.
- ✓
robots.txt aanwezig
robots.txt is bereikbaar en leesbaar.
- ✓
OAI-SearchBot (OpenAI)
Toegestaan — toont je site in ChatGPT-zoekresultaten.
- ✓
ChatGPT-User (OpenAI)
Toegestaan — haalt pagina's op als een gebruiker ernaar vraagt.
- ✓
GPTBot (OpenAI)
Toegestaan — verzamelt content voor het trainen van modellen.
- ✓
Googlebot (Google)
Toegestaan — voedt Google Zoeken én AI Overviews.
- ✓
Google-Extended (Google)
Toegestaan — bepaalt gebruik in Gemini.
- ✓
Bingbot (Microsoft)
Toegestaan — voedt Bing en Copilot.
- ✓
Claude-SearchBot (Anthropic)
Toegestaan — indexeert voor zoeken in Claude.
- ✓
ClaudeBot (Anthropic)
Toegestaan — verzamelt content voor Claude.
- ✓
Applebot-Extended (Apple)
Toegestaan — bepaalt gebruik in Apple Intelligence.
- ✓
meta-externalagent (Meta)
Toegestaan — verzamelt content voor Meta AI.
- ✓
CCBot (Common Crawl)
Toegestaan — open dataset die veel AI-modellen gebruiken.
- ✓
Server laat AI-bots toe
Een verzoek als OAI-SearchBot (de zoekbot van ChatGPT) kreeg status 200. Er is geen firewallblokkade gevonden.
- ✓
Geen noai-instructie
Er is geen noai-instructie gevonden.