#Warum du KI-Crawler überwachen solltest
Deine Website kommt nur als Quelle für ChatGPT, Perplexity oder Google AI Overviews infrage, wenn deren Bots deine Seiten abrufen können. Dieser Zugriff kann sich ändern, ohne dass jemand etwas an der Website macht. Ein Sicherheits-Plug-in bekommt ein Update, dein Hoster passt seine Bot-Filter an oder dein CDN führt neue Standardeinstellungen ein. Die robots.txt sieht dann noch genauso aus, aber die Bots bekommen einen Fehlercode.
Deshalb prüft Flowproof auf zwei Ebenen. Zuerst liest der Scan deine robots.txt nach den Regeln des Standards: Die Gruppe mit dem Namen des Bots geht der allgemeinen Gruppe vor, und innerhalb einer Gruppe gewinnt die längste passende Regel. Danach schickt der Scan eine Anfrage mit dem User-Agent von OAI-SearchBot, dem Such-Bot von ChatGPT, und vergleicht die Antwort mit der eines normalen Browsers. Hintergründe zu allen Bots und Beispieldateien findest du unter KI-Crawler in der robots.txt.
#Such-Bots und Trainings-Bots
Nicht jede Sperre ist ein Fehler. Such- und Abruf-Bots wie OAI-SearchBot und PerplexityBot entscheiden, ob du in KI-Antworten auftauchen kannst. Trainings-Bots wie GPTBot und ClaudeBot sammeln Text, um Modelle zu trainieren. Flowproof meldet einen gesperrten Such-Bot als Problem. Einen gesperrten Trainings-Bot siehst du zur Information, mit einer Erklärung zur Abwägung; er zählt nicht im Score, weil die Sperre eine legitime Entscheidung ist. OpenAI dokumentiert, dass OAI-SearchBot Websites in der ChatGPT-Suche anzeigt, dass GPTBot dem Training dient und dass du beide unabhängig voneinander einstellst. Wie KI-Systeme die abgerufenen Seiten danach nutzen, liest du unter wie KI-Suchmaschinen Quellen auswählen.
#Jede Woche im Blick
In Pro und Business scannt Flowproof deine Websites jede Woche automatisch und schickt einen E-Mail-Bericht. Du wählst, ob du ihn immer bekommst oder nur, wenn sich etwas ändert. So bemerkst du eine neue Sperre innerhalb einer Woche und nicht erst, wenn der Traffic aus KI-Antworten weggebrochen ist. Der Score-Verlauf zeigt, wann die Änderung begonnen hat.
#Teil des vollständigen GEO-Audits
Die Crawler-Prüfung ist einer der 9 Bereiche des GEO-Audits. Zugriff ist der erste Schritt; danach geht es ums Verstehen, mit strukturierten Daten und einer llms.txt. Eine einzelne Domain kannst du ohne Konto schnell mit dem kostenlosen KI-Crawler-Checker testen. Für das große Ganze lies den vollständigen Leitfaden zu GEO oder starte direkt mit einem kostenlosen Konto.