KI-Crawler in der robots.txt: GPTBot blockieren oder zulassen?

Ob du GPTBot blockieren oder zulassen solltest, hängt von einer einzigen Frage ab: Willst du, dass deine Inhalte zum Training von KI-Modellen genutzt werden? GPTBot ist nämlich ein Trainingsbot. Deine Sichtbarkeit in den Suchantworten von ChatGPT hängt an einem anderen Bot, OAI-SearchBot. Wer diesen Unterschied nicht macht, blockiert oft den falschen Bot und verschwindet aus KI-Antworten, ohne es zu merken.

Dieser Artikel ist eine praktische Anleitung innerhalb unseres vollständigen Leitfadens zu GEO. Du bekommst einen Überblick über alle wichtigen KI-Crawler, zwei fertige Beispieldateien und eine Erklärung, wie die robots.txt Regeln anwendet. Danach geht es um eine häufige Falle: eine robots.txt, die alles erlaubt, während die Firewall die Bots trotzdem aussperrt.

#Suchbots und Trainingsbots machen etwas anderes

KI-Bots lassen sich in zwei Gruppen einteilen: Such- und Abrufbots, die bestimmen, ob du in KI-Antworten auftauchst, und Trainingsbots, die Inhalte zum Trainieren von Modellen sammeln. Ein Suchbot baut einen Index auf, aus dem eine KI-Suchmaschine Quellen holt und zitiert. Ein Abrufbot besucht eine Seite in dem Moment, in dem ein Nutzer danach fragt. Ein Trainingsbot sammelt Text für künftige Modellversionen, ohne dass dafür eine Quellenangabe erfolgt.

Blockierst du einen Suchbot, kann eine KI-Suchmaschine deine Seite nicht mehr als Quelle nutzen. Blockierst du einen Trainingsbot, ändert sich laut der Dokumentation der großen Anbieter nichts an deiner Sichtbarkeit in ihren Suchfunktionen. Wie diese Quellenauswahl im Detail funktioniert, liest du in unserem Artikel darüber, wie KI-Suchmaschinen Quellen auswählen.

#Überblick über die KI-Crawler nach Anbieter

Die Tabelle unten listet die KI-Bots der größten Anbieter mit ihrem Zweck und den Folgen einer Blockierung auf. Alle Angaben stammen aus der offiziellen Dokumentation, die pro Anbieter verlinkt ist.

Die Quellen: OpenAI über seine Crawler, Google über seine Crawler und KI-Funktionen in der Suche, Anthropic über seine Crawler, Perplexity über seine Bots, Apple über Applebot, Meta über seine Crawler, Microsoft über Bing und KI-Antworten und Common Crawl über CCBot.

#Drei Feinheiten, die du kennen solltest

Google-Extended ist kein eigener Crawler, sondern nur ein Token in der robots.txt. Google schreibt wörtlich, dass Google-Extended keinen eigenen User-Agent-String in HTTP-Anfragen hat. Googlebot crawlt, und das Token bestimmt, was Google mit diesen Inhalten tun darf. Laut Google hat das Token keinen Einfluss auf die Aufnahme in die Google-Suche und ist kein Rankingsignal. Für AI Overviews und AI Mode ist Googlebot die Steuerung. Aber Achtung: Google-Extended steuert auch das Grounding in Gemini-Apps, eine Blockierung kann deine Sichtbarkeit dort also verringern.

Applebot-Extended funktioniert genauso. Apple schreibt, dass Applebot-Extended selbst keine Seiten crawlt. Seiten, die dieses Token blockieren, bleiben laut Apple über Spotlight, Siri und Safari auffindbar.

Abrufbots wie ChatGPT-User, Perplexity-User und Meta-ExternalFetcher halten sich nicht immer an die robots.txt. OpenAI, Perplexity und Meta geben alle drei an, dass die robots.txt möglicherweise nicht gilt, weil ein Nutzer die Anfrage stellt.

#Wie die robots.txt bestimmt, welche Regel gilt

Ein Crawler folgt in der robots.txt nur der Gruppe, die am genauesten zu seinem eigenen Namen passt, und fällt erst auf die Gruppe User-agent: * zurück, wenn es keine eigene Gruppe gibt. Das steht in RFC 9309, dem offiziellen Standard für die robots.txt. Google bestätigt in seiner robots.txt-Dokumentation, dass spezifische Gruppen und die *-Gruppe nicht kombiniert werden.

Das hat eine praktische Folge, die viele übersehen. Angenommen, du blockierst unter * den Ordner /admin/ und legst zusätzlich eine eigene Gruppe für GPTBot an. GPTBot ignoriert dann die *-Gruppe komplett, also auch die Regel für /admin/. Wiederhole Regeln, die für alle gelten sollen, deshalb in jeder eigenen Gruppe.

Innerhalb einer Gruppe gewinnt die spezifischste Regel, gemessen an der Länge des Pfads. Disallow: /blog/ verliert also gegen Allow: /blog/gids/ für alles unter /blog/gids/. Sind eine Allow- und eine Disallow-Regel gleich spezifisch, soll laut RFC 9309 die Allow-Regel gewinnen. Beim Namen des Bots wird nicht zwischen Groß- und Kleinschreibung unterschieden: gptbot und GPTBot funktionieren beide. Bei Pfaden schon.

#Beispiel: sichtbar in KI-Antworten, aber kein Training

Mit dieser Datei bleiben Such- und Abrufbots willkommen, während Trainingsbots und Trainingstokens ausgeschlossen werden. Das ist eine vernünftige Wahl, wenn du Reichweite in KI-Antworten willst, deine Inhalte aber nicht für das Modelltraining freigeben möchtest.

# Trainingsbots und Trainingstokens ausschließen
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: CCBot
Disallow: /

# Alle anderen Bots, darunter OAI-SearchBot, Claude-SearchBot,
# PerplexityBot, Googlebot, Applebot und bingbot
User-agent: *
Disallow: /admin/

Sitemap: https://www.deinefirma.de/sitemap.xml

Zwei Anmerkungen zu diesem Beispiel. Wenn du Google-Extended blockierst, schließt du auch das Grounding in Gemini-Apps aus. Willst du dort sichtbar sein, lass diese Regel weg. Meta nennt für meta-externalagent neben dem Training auch die Indexierung von Inhalten für eigene Produkte. Es ist also kein reiner Trainingsbot.

#Beispiel: alles erlauben

Willst du maximale Sichtbarkeit und hast nichts gegen Training, reicht eine kurze Datei ohne eigene KI-Gruppen. Jeder Bot fällt dann unter die *-Gruppe.

User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://www.deinefirma.de/sitemap.xml

Eine eigene Gruppe pro KI-Bot ist hier nicht nötig. Füge nur dann eine hinzu, wenn sich dieser Bot anders verhalten soll als der Rest. Eine llms.txt-Datei ergänzt die robots.txt, ersetzt sie aber nicht: Die robots.txt regelt den Zugriff, die llms.txt gibt Sprachmodellen eine Zusammenfassung deiner Website.

#Microsoft steuert die KI-Nutzung mit Meta-Tags

Microsoft nutzt kein eigenes KI-Token in der robots.txt, sondern die Robots-Meta-Tags NOCACHE und NOARCHIVE. Laut der Ankündigung von Bing schließt NOARCHIVE eine Seite von Chatantworten und vom Training aus. Mit NOCACHE darf Bing nur die URL, den Titel und ein Snippet anzeigen. Seiten mit einem der beiden Tags bleiben in den normalen Bing-Suchergebnissen. Blockiere bingbot also nicht in der robots.txt, wenn du nur die KI-Nutzung einschränken willst.

#Die Falle: Deine Firewall blockiert, was die robots.txt erlaubt

Eine offene robots.txt garantiert nicht, dass KI-Bots deine Website wirklich lesen können, denn eine Firewall oder ein CDN kann sie schon früher in der Kette abweisen. Die robots.txt ist eine Bitte an den Bot. Eine Firewall ist eine technische Sperre, die die Anfrage stoppt, bevor dein Server sie sieht. Der Bot bekommt dann einen Fehlercode oder eine Challenge-Seite statt deiner Inhalte.

Cloudflare ist das bekannteste Beispiel. Es bietet AI Crawl Control, mit dem du pro Crawler Allow- oder Block-Regeln festlegst, und die ältere Einstellung Block AI bots. Laut Cloudflare gelten ab dem 15. September 2026 neue Standardeinstellungen für neue Domains. Dabei werden Trainings- und Agent-Bots auf Seiten mit Werbung blockiert, während Suchbots erlaubt bleiben. Auch andere Hoster und Sicherheits-Plug-ins blockieren manchmal unbekannte Bots. Das siehst du in deiner robots.txt nicht.

#So testest du, ob ein KI-Bot deine Website wirklich erreicht

Du testest das, indem du deine Website mit dem User-Agent eines KI-Bots abrufst und schaust, welche Antwort du bekommst. Flowproof macht genau das mit dem User-Agent von GPTBot. Selbst geht es mit einem einzigen Befehl im Terminal:

curl -I -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" https://www.deinefirma.de/

Bekommst du den Statuscode 200, lässt die Firewall Anfragen mit diesem User-Agent durch. Ein 403, 429 oder 503 deutet auf eine Sperre hin. Vergleiche das Ergebnis mit einer normalen Browseranfrage: Liefert diese 200, liegt die Sperre am User-Agent.

Dieser Test hat eine Grenze. Manche Firewalls prüfen auch die IP-Adresse des Bots. OpenAI veröffentlicht dafür die IP-Bereiche, zum Beispiel für GPTBot. Ein Test von deiner eigenen IP-Adresse zeigt also vor allem Sperren nach User-Agent. Eine Sperre, die nur echte OpenAI-Adressen trifft oder nur gefälschte Bots, siehst du so nicht. Die Logs deines CDN oder deiner Firewall schaffen dann Klarheit.

#Die robots.txt ist eine Bitte, kein Schutz

Die robots.txt bittet Bots höflich, bestimmte Bereiche auszulassen, hält aber technisch niemanden auf. RFC 9309 sagt, dass diese Regeln keine Form der Zugriffsautorisierung und kein Ersatz für echte Sicherheit sind. Seriöse Bots großer Anbieter halten sich daran, aber ein böswilliger Scraper kann die Datei ignorieren. Common Crawl warnt außerdem vor Crawlern, die sich fälschlich als CCBot ausgeben.

Die Datei ist außerdem öffentlich. Jeder kann sie lesen, ein Disallow: /geheim/ verrät also genau, wo etwas Interessantes liegt. Was wirklich geschützt bleiben muss, gehört hinter einen Login oder wird mit Servereinstellungen abgesichert.

#So prüfst du das auf deiner eigenen Website

Mit diesen Schritten prüfst du, ob KI-Bots deine Website so lesen können, wie du es willst.

1. Öffne https://www.deinefirma.de/robots.txt und notiere, welche KI-Bots eine eigene Gruppe haben.
2. Prüfe pro Gruppe, ob Suchbots wie OAI-SearchBot, Claude-SearchBot und PerplexityBot nicht versehentlich blockiert sind.
3. Schau, ob Regeln aus der *-Gruppe, die für alle gelten sollen, auch in den eigenen Gruppen stehen.
4. Triff deine Entscheidung zum Training und passe die Trainingsbots und Tokens entsprechend an.
5. Prüfe die Bot-Einstellungen in deinem CDN, deiner Firewall oder deinem Sicherheits-Plug-in.
6. Mach den curl-Test mit dem User-Agent von GPTBot und vergleiche ihn mit einer normalen Anfrage.

Der kostenlose Scan von Flowproof prüft zwölf KI-Bots in deiner robots.txt und führt den Firewall-Test mit dem User-Agent von GPTBot automatisch durch. So siehst du in einer Übersicht, ob deine robots.txt und deine Firewall dasselbe sagen.