Glossário

Crawler de IA

Bots que empresas de IA usam para buscar conteúdo da web: GPTBot e OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot e outros. Os principais não executam JavaScript.

Notas

Uma distinção é a mais importante: crawlers de treinamento (ex.: GPTBot, que coleta dados para treinar modelos) e bots de recuperação (OAI-SearchBot, ChatGPT-User — que buscam em tempo real ao gerar respostas) são separados e podem ser controlados de forma independente no robots.txt. Se você quer citações, os bots de recuperação precisam ser permitidos.

Segundo fato-chave: conforme a análise da Vercel, os principais crawlers de IA não executam JavaScript. E CDNs/WAFs às vezes bloqueiam bots de IA por padrão — verifique as configurações do CDN, não apenas o robots.txt.

Atualizado: 10 de jun. de 2026