#Por qué monitorizar los rastreadores de IA
Tu web solo es una posible fuente para ChatGPT, Perplexity o Google AI Overviews si sus bots pueden descargar tus páginas. Ese acceso puede cambiar sin que nadie toque la web. Un plugin de seguridad se actualiza, tu proveedor de hosting ajusta sus filtros de bots o tu CDN aplica una nueva configuración por defecto. El robots.txt sigue igual, pero los bots reciben un código de error.
Por eso Flowproof mira en dos niveles. Primero, el análisis lee tu robots.txt según las reglas del estándar: el grupo con el nombre del bot tiene prioridad sobre el grupo general y, dentro de un grupo, gana la regla coincidente más larga. Después, el análisis hace una petición con el user-agent de OAI-SearchBot, el bot de búsqueda de ChatGPT, y compara la respuesta con la de un navegador normal. El contexto sobre todos los bots y archivos de ejemplo lo tienes en rastreadores de IA en robots.txt.
#Bots de búsqueda y bots de entrenamiento
No todo bloqueo es un error. Los bots de búsqueda y de consulta, como OAI-SearchBot y PerplexityBot, determinan si puedes aparecer en respuestas de IA. Los bots de entrenamiento, como GPTBot y ClaudeBot, recopilan texto para entrenar modelos. Flowproof marca un bot de búsqueda bloqueado como problema. Un bot de entrenamiento bloqueado aparece como información, con una explicación de qué hay que sopesar; no cuenta en la puntuación, porque bloquearlo es una opción legítima. OpenAI documenta que OAI-SearchBot muestra webs en la búsqueda de ChatGPT, que GPTBot sirve para entrenamiento y que ambos se configuran por separado. Cómo usan después los sistemas de IA las páginas descargadas lo explicamos en cómo eligen sus fuentes los buscadores con IA.
#Vigilancia semanal
En Pro y Business, Flowproof analiza tus webs automáticamente cada semana y te envía un informe por correo. Tú eliges si lo recibes siempre o solo cuando algo cambia. Así detectas un bloqueo nuevo en menos de una semana, y no cuando el tráfico desde las respuestas de IA ya ha desaparecido. El historial de puntuaciones muestra cuándo empezó el cambio.
#Parte de la auditoría GEO completa
La revisión de rastreadores es uno de los 9 apartados de la auditoría GEO. El acceso es el primer paso; después toca la comprensión, con datos estructurados y un llms.txt. Para probar rápido un solo dominio sin cuenta, usa el comprobador de rastreadores de IA gratuito. Para ver el panorama completo, lee la guía completa sobre GEO, o empieza directamente con una cuenta gratuita.