Rastreadores de IA en robots.txt: ¿bloquear o permitir GPTBot?

Si debes bloquear o permitir GPTBot depende de una sola pregunta: ¿quieres que tu contenido se use para entrenar modelos de IA? GPTBot es un bot de entrenamiento. Tu visibilidad en las respuestas de búsqueda de ChatGPT depende de otro bot, OAI-SearchBot. Quien no hace esa distinción suele bloquear el bot equivocado y desaparece de las respuestas de IA sin darse cuenta.

Este artículo es una guía práctica dentro de nuestra guía completa sobre GEO. Encontrarás una lista de los principales rastreadores de IA, dos archivos de ejemplo listos para usar y una explicación de cómo aplica sus reglas robots.txt. Después vemos una trampa habitual: un robots.txt que lo permite todo mientras el firewall sigue bloqueando a los bots.

#Los bots de búsqueda y los de entrenamiento hacen cosas distintas

Los bots de IA se dividen en dos grupos: los bots de búsqueda y de consulta, que determinan si apareces en las respuestas de IA, y los bots de entrenamiento, que recopilan contenido para entrenar modelos. Un bot de búsqueda crea un índice del que un buscador con IA extrae fuentes y las cita. Un bot de consulta visita una página en el momento en que un usuario lo pide. Un bot de entrenamiento recopila texto para futuras versiones del modelo, sin que haya a cambio una mención de la fuente.

Si bloqueas un bot de búsqueda, un buscador con IA ya no puede usar tu página como fuente. Si bloqueas un bot de entrenamiento, según la documentación de las grandes empresas no cambia nada en tu visibilidad en sus funciones de búsqueda. Cómo funciona el resto de esa selección de fuentes lo explicamos en nuestro artículo sobre cómo eligen sus fuentes los buscadores con IA.

#Los rastreadores de IA de cada empresa

La tabla siguiente recoge los bots de IA de las principales empresas, con su finalidad y el efecto de bloquearlos. Todos los datos proceden de la documentación oficial, enlazada para cada empresa.

Las fuentes: OpenAI sobre sus rastreadores, Google sobre sus rastreadores y funciones de IA en Search, Anthropic sobre sus rastreadores, Perplexity sobre sus bots, Apple sobre Applebot, Meta sobre sus rastreadores, Microsoft sobre Bing y las respuestas de IA y Common Crawl sobre CCBot.

#Tres matices que debes conocer

Google-Extended no es un rastreador independiente, sino solo un token en robots.txt. Google indica literalmente que Google-Extended no tiene una cadena de user-agent propia en las peticiones HTTP. Googlebot rastrea, y el token determina qué puede hacer Google con ese contenido. Según Google, el token no influye en la inclusión en Google Search y no es una señal de ranking. Para AI Overviews y AI Mode, el control es Googlebot. Ojo: Google-Extended también controla el grounding en las apps de Gemini, así que bloquearlo puede reducir tu visibilidad allí.

Applebot-Extended funciona igual. Apple indica que Applebot-Extended no rastrea páginas por sí mismo. Según Apple, las páginas que bloquean este token siguen apareciendo en Spotlight, Siri y Safari.

Los bots de consulta como ChatGPT-User, Perplexity-User y Meta-ExternalFetcher no siempre respetan robots.txt. OpenAI, Perplexity y Meta indican las tres que puede que robots.txt no se aplique, porque la petición la hace un usuario.

#Cómo decide robots.txt qué regla se aplica

Un rastreador sigue en robots.txt solo el grupo que coincide de forma más específica con su propio nombre, y solo recurre al grupo User-agent: * si no tiene un grupo propio. Así lo establece RFC 9309, el estándar oficial de robots.txt. Google confirma en su documentación de robots.txt que los grupos específicos y el grupo * no se combinan.

Esto tiene una consecuencia práctica que mucha gente pasa por alto. Imagina que bajo * bloqueas la carpeta /admin/ y además creas un grupo propio para GPTBot. GPTBot ignorará entonces por completo el grupo *, incluida la regla de /admin/. Por eso, repite en cada grupo propio las reglas que deban aplicarse a todos.

Dentro de un grupo gana la regla más específica, medida por la longitud de la ruta. Así, Disallow: /blog/ pierde frente a Allow: /blog/guia/ para todo lo que esté bajo /blog/guia/. Si una regla Allow y una Disallow son igual de específicas, según RFC 9309 debe ganar la regla Allow. El nombre del bot no distingue entre mayúsculas y minúsculas: gptbot y GPTBot funcionan los dos. Las rutas sí lo distinguen.

#Ejemplo: visible en las respuestas de IA, pero sin entrenamiento

Con este archivo, los bots de búsqueda y de consulta siguen siendo bienvenidos, mientras que los bots y tokens de entrenamiento quedan excluidos. Es una opción razonable si quieres alcance en las respuestas de IA, pero no quieres ceder tu contenido para entrenar modelos.

# Excluir bots y tokens de entrenamiento
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: CCBot
Disallow: /

# Todos los demás bots, entre ellos OAI-SearchBot, Claude-SearchBot,
# PerplexityBot, Googlebot, Applebot y bingbot
User-agent: *
Disallow: /admin/

Sitemap: https://www.tuempresa.es/sitemap.xml

Dos observaciones sobre este ejemplo. Al bloquear Google-Extended, también excluyes el grounding en las apps de Gemini. Si quieres ser visible allí, elimina esa regla. Para meta-externalagent, Meta menciona además del entrenamiento la indexación de contenido para sus propios productos. Por tanto, no es un bot de entrenamiento puro.

#Ejemplo: permitirlo todo

Si quieres la máxima visibilidad y no te importa el entrenamiento, basta con un archivo corto sin grupos de IA separados. Cada bot queda entonces bajo el grupo *.

User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://www.tuempresa.es/sitemap.xml

Aquí no hace falta un grupo propio por cada bot de IA. Añade uno solo si quieres que ese bot haga algo distinto del resto. Un archivo llms.txt complementa robots.txt, no lo sustituye: robots.txt regula el acceso y llms.txt ofrece a los modelos de lenguaje un resumen de tu sitio.

#Microsoft regula el uso para IA con metaetiquetas

Microsoft no usa un token de IA propio en robots.txt, sino las metaetiquetas robots NOCACHE y NOARCHIVE. Según el anuncio de Bing, NOARCHIVE excluye una página de las respuestas del chat y del entrenamiento. Con NOCACHE, Bing solo puede mostrar la URL, el título y un fragmento. Las páginas con cualquiera de las dos etiquetas siguen apareciendo en los resultados de búsqueda normales de Bing. Así que no bloquees bingbot en robots.txt si solo quieres limitar el uso para IA.

#La trampa: tu firewall bloquea lo que robots.txt permite

Un robots.txt abierto no garantiza que los bots de IA puedan leer de verdad tu sitio, porque un firewall o una CDN puede rechazarlos antes en la cadena. Robots.txt es una petición al bot. Un firewall es un bloqueo técnico que detiene la petición antes de que tu servidor la vea. El bot recibe entonces un código de error o una página de desafío en lugar de tu contenido.

Cloudflare es el ejemplo más conocido. Ofrece AI Crawl Control, con el que configuras reglas de permitir o bloquear para cada rastreador, y el ajuste más antiguo Block AI bots. Según Cloudflare, a partir del 15 de septiembre de 2026 aplica nuevos valores predeterminados a los dominios nuevos. Con ellos se bloquean los bots de entrenamiento y los agentes en páginas con anuncios, mientras que los bots de búsqueda siguen permitidos. Otros proveedores de hosting y plugins de seguridad también bloquean a veces bots desconocidos. Eso no lo verás reflejado en tu robots.txt.

#Cómo comprobar si un bot de IA llega de verdad a tu sitio

Para comprobarlo, solicita tu sitio con el user-agent de un bot de IA y mira qué respuesta recibes. Flowproof hace exactamente esto con el user-agent de GPTBot. Tú mismo puedes hacerlo con un solo comando en la terminal:

curl -I -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" https://www.tuempresa.es/

Si recibes el código de estado 200, el firewall deja pasar las peticiones con ese user-agent. Un 403, 429 o 503 indica un bloqueo. Compara el resultado con una petición normal del navegador: si esa sí devuelve 200, el bloqueo está en el user-agent.

Esta prueba tiene un límite. Algunos firewalls también comprueban la dirección IP del bot. Para ello, OpenAI publica sus rangos de IP, por ejemplo para GPTBot. Una prueba desde tu propia IP muestra sobre todo bloqueos por user-agent. Un bloqueo que solo afecte a direcciones reales de OpenAI, o justo al contrario solo a bots falsificados, no lo verás así. En ese caso, los registros de tu CDN o firewall te darán la respuesta.

#Robots.txt es una petición, no una medida de seguridad

Robots.txt pide educadamente a los bots que se salten ciertas partes, pero no detiene técnicamente a nadie. RFC 9309 dice que estas reglas no son una forma de autorización de acceso ni sustituyen a una seguridad real. Los bots respetables de las grandes empresas las cumplen, pero un scraper malintencionado puede ignorar el archivo. Además, Common Crawl advierte de rastreadores que se hacen pasar falsamente por CCBot.

El archivo también es público. Cualquiera puede leerlo, así que un Disallow: /secreto/ indica precisamente dónde hay algo interesante. Lo que de verdad deba quedar protegido, ponlo detrás de un inicio de sesión o protégelo con la configuración del servidor.

#Cómo comprobarlo en tu propio sitio

Con estos pasos compruebas si los bots de IA pueden leer tu sitio como tú quieres.

1. Abre https://www.tuempresa.es/robots.txt y anota qué bots de IA tienen un grupo propio.
2. Comprueba en cada grupo que bots de búsqueda como OAI-SearchBot, Claude-SearchBot y PerplexityBot no estén bloqueados por error.
3. Mira si las reglas del grupo * que deban aplicarse a todos también están en los grupos propios.
4. Decide qué quieres hacer con el entrenamiento y ajusta los bots y tokens de entrenamiento en consecuencia.
5. Revisa la configuración de bots de tu CDN, firewall o plugin de seguridad.
6. Haz la prueba con curl usando el user-agent de GPTBot y compárala con una petición normal.

El análisis gratuito de Flowproof comprueba doce bots de IA en tu robots.txt y hace automáticamente la prueba del firewall con el user-agent de GPTBot. Así ves en un solo resumen si tu robots.txt y tu firewall dicen lo mismo.