Глоссарий

AI-краулер

Боты, которыми AI-компании собирают веб-контент: GPTBot и OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot и другие. Крупные краулеры не выполняют JavaScript.

Пояснение

Важнее всего одно различие: обучающие краулеры (например, GPTBot, собирающий данные для обучения модели) и боты получения данных (OAI-SearchBot, ChatGPT-User — забирают контент в реальном времени при генерации ответа) — это разные вещи, и в robots.txt ими можно управлять независимо. Если нужны цитирования, ботам получения данных нужно разрешить доступ.

Второй ключевой факт: по анализу Vercel, крупные AI-краулеры не выполняют JavaScript. А CDN/WAF иногда блокируют AI-ботов по умолчанию — проверяйте настройки CDN, а не только robots.txt.

Обновлено: 10 июн. 2026 г.