Glossaire

Crawler IA

Robots utilisés par les entreprises d'IA pour récupérer du contenu web : GPTBot et OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, etc. Les crawlers IA n'exécutent pas JavaScript.

Notes

Une distinction prime sur les autres : les crawlers d’entraînement (p. ex. GPTBot, qui collecte les données d’entraînement du modèle) et les bots de récupération (OAI-SearchBot, ChatGPT-User — qui récupèrent en temps réel lors de la génération des réponses) sont distincts et se contrôlent indépendamment dans robots.txt. Si vous voulez des citations, les bots de récupération doivent être autorisés.

Deuxième fait clé : d’après l’analyse de Vercel, les principaux crawlers IA n’exécutent pas JavaScript. Et les CDN/WAF bloquent parfois les bots IA par défaut — vérifiez les réglages du CDN, pas seulement robots.txt.

Mis à jour: 10 juin 2026