Crawler AI
Bot che le aziende AI usano per recuperare contenuti web: GPTBot e OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot e altri. I principali crawler AI non eseguono JavaScript.
Note
Una distinzione conta più di tutte: i crawler di addestramento (es. GPTBot, che raccolgono dati per l’addestramento del modello) e i bot di recupero (OAI-SearchBot, ChatGPT-User — che recuperano in tempo reale durante la generazione delle risposte) sono separati e si possono controllare in modo indipendente nel robots.txt. Se vuoi le citazioni, i bot di recupero devono essere consentiti.
Secondo fatto chiave: secondo l’analisi di Vercel, i principali crawler AI non eseguono JavaScript. E le CDN/WAF a volte bloccano i bot AI per impostazione predefinita — controlla le impostazioni della CDN, non solo il robots.txt.
Fonti
Ultimo aggiornamento: 10 giu 2026