KI-Crawler
Bots, mit denen KI-Firmen Webinhalte abrufen: GPTBot und OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot u. a. Große KI-Crawler führen kein JavaScript aus.
Hinweise
Eine Unterscheidung ist am wichtigsten: Trainings-Crawler (z. B. GPTBot, der Trainingsdaten für Modelle sammelt) und Retrieval-Bots (OAI-SearchBot, ChatGPT-User – die in Echtzeit abrufen, während Antworten erzeugt werden) sind getrennt und lassen sich in der robots.txt unabhängig steuern. Wenn Sie Zitate wollen, müssen Retrieval-Bots zugelassen sein.
Zweiter zentraler Punkt: Laut der Analyse von Vercel führen große KI-Crawler kein JavaScript aus. Und CDNs/WAFs blockieren KI-Bots manchmal standardmäßig – prüfen Sie die CDN-Einstellungen, nicht nur die robots.txt.
Quellen
Aktualisiert: 10.06.2026