Crawler de IA
Bots que las empresas de IA usan para obtener contenido web: GPTBot y OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot y otros. Los principales crawlers de IA no ejecutan JavaScript.
Notas
Una distinción importa más que ninguna: los crawlers de entrenamiento (p. ej. GPTBot, que recopila datos para entrenar el modelo) y los bots de recuperación (OAI-SearchBot, ChatGPT-User —que obtienen contenido en tiempo real al generar respuestas) son distintos y se pueden controlar de forma independiente en robots.txt. Si quieres citas, los bots de recuperación deben estar permitidos.
Segundo hecho clave: según el análisis de Vercel, los principales crawlers de IA no ejecutan JavaScript. Y los CDN/WAF a veces bloquean los bots de IA por defecto: revisa la configuración del CDN, no solo robots.txt.
Fuentes
Actualizado: 10 jun 2026