용어집

AI 크롤러

AI 기업이 웹 콘텐츠를 수집하기 위해 사용하는 봇입니다. GPTBot과 OAI-SearchBot(OpenAI), ClaudeBot(Anthropic), PerplexityBot 등이 있습니다. 주요 AI 크롤러는 JavaScript를 실행하지 않습니다.

해설

가장 중요한 구분이 하나 있습니다. 학습 크롤러(예: 모델 학습 데이터를 수집하는 GPTBot)와 검색 봇(OAI-SearchBot, ChatGPT-User — 답변을 생성할 때 실시간으로 콘텐츠를 가져옴)은 서로 다르며, robots.txt에서 독립적으로 제어할 수 있습니다. 인용을 원한다면 검색 봇을 허용해야 합니다.

두 번째 핵심 사실입니다. Vercel의 분석에 따르면 주요 AI 크롤러는 JavaScript를 실행하지 않습니다. 또한 CDN/WAF가 기본 설정에서 AI 봇을 차단하는 경우가 있으므로, robots.txt뿐만 아니라 CDN 설정도 확인해 주세요.

최종 업데이트: 2026. 6. 10.