Acceso de rastreadores de IA
¿Se bloquean los bots de IA en robots.txt o en un firewall?
- ✕
PerplexityBot (Perplexity)
Bloqueado mediante regla propia. Este bot indexa para las respuestas de Perplexity.
Añade a robots.txt: User-agent: PerplexityBot Allow: / Sin acceso, Perplexity no puede citarte como fuente.
- ✓
robots.txt presente
robots.txt es accesible y se puede leer.
- ✓
OAI-SearchBot (OpenAI)
Permitido: muestra tu web en los resultados de búsqueda de ChatGPT.
- ✓
ChatGPT-User (OpenAI)
Permitido: recupera páginas cuando un usuario las pide.
- ✓
GPTBot (OpenAI)
Permitido: recopila contenido para entrenar modelos.
- ✓
Googlebot (Google)
Permitido: alimenta la Búsqueda de Google y AI Overviews.
- ✓
Google-Extended (Google)
Permitido: controla el uso en Gemini.
- ✓
Bingbot (Microsoft)
Permitido: alimenta Bing y Copilot.
- ✓
Claude-SearchBot (Anthropic)
Permitido: indexa para las búsquedas en Claude.
- ✓
ClaudeBot (Anthropic)
Permitido: recopila contenido para Claude.
- ✓
Applebot-Extended (Apple)
Permitido: controla el uso en Apple Intelligence.
- ✓
meta-externalagent (Meta)
Permitido: recopila contenido para Meta AI.
- ✓
CCBot (Common Crawl)
Permitido: conjunto de datos abierto que usan muchos modelos de IA.
- ✓
El servidor deja pasar a los bots de IA
Una petición como OAI-SearchBot (el bot de búsqueda de ChatGPT) ha recibido el estado 200. No se ha detectado ningún bloqueo del firewall.
- ✓
Sin instrucción noai
No se ha encontrado ninguna instrucción noai.