Технический GEO
AI-краулеры не исполняют JavaScript — почему серверный рендеринг является предусловием GEO | Suparanku
Основные AI-краулеры — GPTBot, ClaudeBot и аналогичные — не исполняют JavaScript. Анализ Vercel начала 2025 года — более полумиллиарда запросов GPTBot — не нашёл следов исполнения JS. Контент, появляющийся только после клиентского рендеринга, невидим для AI — серверный HTML является техническим предусловием GEO.
Что мы знаем наверняка
Vercel вместе с MERJ проанализировали трафик AI-краулеров в своей сети. По данным на начало 2025 года, один только GPTBot генерировал более полумиллиарда запросов в месяц, и вывод однозначен: ноль следов исполнения JavaScript. GPTBot иногда скачивает JS-файлы (около 11,5% запросов), но никогда их не запускает. ClaudeBot и PerplexityBot ведут себя так же.
Цитаты в ChatGPT обеспечивают поисковые боты OAI-SearchBot и ChatGPT-User, тогда как GPTBot — краулер для обучения моделей. Блокировка GPTBot влияет только на обучение модели; блокировка OAI-SearchBot убирает сайт из ответов ChatGPT. Правила allow/deny и проверки CDN должны охватывать поисковых ботов, а не только GPTBot.
Страница, отрисованная исключительно на клиенте в React или Vue, для AI-краулера — почти пустой HTML. Если описание продукта и цены появляются только после гидратации, они не попадают ни в обучение, ни в генерацию ответов.
Проверьте свой сайт за три минуты
- Отключите JavaScript в dev tools браузера и перезагрузите ключевые страницы (продукт, цены, компания). Если контент виден — у вас серверный рендеринг.
- Или правый клик → «Просмотр кода страницы»: убедитесь, что основной текст есть в исходном HTML. Голый
<div id="root"></div>— тревожный сигнал. - Проверьте и настройки CDN/WAF. Даже когда AI-боты разрешены в robots.txt, некоторые CDN блокируют их по умолчанию — распространённая скрытая причина: анализ Otterly более миллиона AI-цитирований показал, что у 73% сайтов есть технические барьеры, блокирующие AI-краулеры.
Варианты решения
- Статическая генерация (SSG) — первый выбор для контентных сайтов: HTML полностью готов на этапе сборки, что выигрывает по краулерам, скорости и эксплуатации. Этот сайт работает именно так.
- Серверный рендеринг (SSR) — для страниц с данными в реальном времени; сервер возвращает HTML на каждый запрос.
- Изолировать интерактивность — вместо полного SPA выполнять на клиенте только виджеты, которым это нужно (islands-архитектура), чтобы основной текст всегда оставался в статическом HTML.
Классический поиск Google умеет рендерить JavaScript, но и сам Google называет доступность для краулинга и индексируемость предусловиями своих AI-функций. Однако с декабря 2025 года Google полностью исключает из своего конвейера рендеринга страницы с кодом, отличным от 200 (редиректы и ошибки), — клиентский JS на таких страницах невидим даже для Google. Серверный рендеринг — безопасный выбор на всех платформах.
Итог
Большинство советов по GEO — о том, что писать. Но раньше стоит технический шлюз: может ли AI вообще увидеть написанное? Основной текст виден с выключенным JavaScript, а CDN не блокирует AI-ботов втихую — проверка этих двух вещей и есть отправная точка любой GEO-работы.
Связанные термины: AI-краулер, RAG, GEO