AIクローラー（エーアイクローラー）
AI企業がウェブからコンテンツを取得するためのボット。GPTBot・OAI-SearchBot（OpenAI）、ClaudeBot（Anthropic）、PerplexityBotなど。主要なAIクローラーはJavaScriptを実行しない。
解説
重要な区別がひとつあります。学習用クローラー（GPTBot等：モデルの訓練データ収集）と取得用ボット（OAI-SearchBot、ChatGPT-User等：回答生成時のリアルタイム取得）は別物で、robots.txtで個別に制御できます。引用されたいなら取得用ボットは許可が前提です。
もうひとつの重要事実：Vercelの分析によれば、主要AIクローラーはJavaScriptを実行しません。CDNやWAFが既定でAIボットをブロックしている場合もあるため、robots.txtだけでなくCDN設定の確認も必要です。
参考・出典
最終更新: 2026/06/10