KI-Crawler-Checker
Sieh in wenigen Sekunden, welche der 12 wichtigsten KI-Bots deine robots.txt zulässt, teilweise zulässt oder blockiert. Mit einer Erklärung zu jedem Bot.
Kein Konto nötig. Wir speichern weder deine Eingabe noch das Ergebnis.
Was dieses Tool prüft
- Wir rufen /robots.txt ab und lesen die Regeln nach dem offiziellen Standard (RFC 9309): Die längste passende Regel gewinnt.
- Für jeden Bot prüfen wir, ob er eine eigene Gruppe hat oder unter die allgemeine Regel (User-agent: *) fällt.
- Such-Bots (wie OAI-SearchBot und PerplexityBot) rufen Seiten für KI-Antworten ab. Trainings-Bots (wie GPTBot) sammeln Text für das Modelltraining; sie zu blockieren ist eine legitime Entscheidung und hat mit der Suche nichts zu tun.
- Blockiert deine Firewall oder dein CDN KI-Bots, sieht dieses Tool das nicht. Der vollständige Scan testet es, mit einer echten Anfrage als OAI-SearchBot, dem Such-Bot von ChatGPT.
Mehr erfahren?
Weitere kostenlose Tools
Das ist ein Bereich. Der vollständige Scan prüft mehr als 70 Punkte.
Der kostenlose Flowproof-Scan prüft auch dein technisches GEO, deine Inhalte, SEO und Conversion und gibt dir zu jedem Befund konkrete Tipps. Ein kostenloses Konto reicht.