Zugriff für KI-Crawler
Werden KI-Bots per robots.txt oder Firewall blockiert?
- ✕
PerplexityBot (Perplexity)
Blockiert über eigene Regel. Dieser Bot indexiert für Antworten in Perplexity.
Ergänze in der robots.txt: User-agent: PerplexityBot Allow: / Ohne Zugriff kann Perplexity dich nicht als Quelle nennen.
- ✓
robots.txt vorhanden
robots.txt ist erreichbar und lesbar.
- ✓
OAI-SearchBot (OpenAI)
Erlaubt – zeigt deine Website in den Suchergebnissen von ChatGPT.
- ✓
ChatGPT-User (OpenAI)
Erlaubt – ruft Seiten ab, wenn ein Nutzer danach fragt.
- ✓
GPTBot (OpenAI)
Erlaubt – sammelt Inhalte für das Training von Modellen.
- ✓
Googlebot (Google)
Erlaubt – speist die Google-Suche und AI Overviews.
- ✓
Google-Extended (Google)
Erlaubt – steuert die Nutzung in Gemini.
- ✓
Bingbot (Microsoft)
Erlaubt – speist Bing und Copilot.
- ✓
Claude-SearchBot (Anthropic)
Erlaubt – indexiert für die Suche in Claude.
- ✓
ClaudeBot (Anthropic)
Erlaubt – sammelt Inhalte für Claude.
- ✓
Applebot-Extended (Apple)
Erlaubt – steuert die Nutzung in Apple Intelligence.
- ✓
meta-externalagent (Meta)
Erlaubt – sammelt Inhalte für Meta AI.
- ✓
CCBot (Common Crawl)
Erlaubt – offener Datensatz, den viele AI-Modelle nutzen.
- ✓
Server lässt AI-Bots zu
Eine Anfrage als OAI-SearchBot (der Such-Bot von ChatGPT) hat Status 200 erhalten. Es wurde keine Firewall-Sperre gefunden.
- ✓
Keine noai-Anweisung
Es wurde keine noai-Anweisung gefunden.