한 줄 요약AI 관련 크롤러는 ‘학습용’과 ‘검색·답변용’으로 역할이 다른 경우가 있습니다. AI 검색 노출이 목표라면 검색·답변용 크롤러는 허용하세요.
대표 크롤러(예시)
| 사용자 에이전트 | 관련 서비스(일반적 설명) |
|---|---|
| GPTBot / OAI-SearchBot | OpenAI 학습·검색 |
| ClaudeBot / Claude-SearchBot | Anthropic 학습·검색 |
| PerplexityBot | Perplexity 검색 |
| Google-Extended | 구글 AI 모델 활용 제어 |
| Bingbot | 빙 검색(Copilot 기반) |
설정 방향
- AI 검색 노출 원함 → 검색용 크롤러 허용
- 콘텐츠 학습 활용 원치 않음 → 학습용만 선택 차단
- 관리자·API는 항상 차단
참고
각 크롤러의 정확한 이름과 역할은 서비스 공식 문서에서 최신 내용을 확인하세요.
자주 묻는 질문
전부 허용해도 문제없나요?
공개 정보 위주 사이트라면 대체로 문제가 없지만, 회사 정책에 맞게 결정하세요.
우리 회사에 적용하면 어떻게 될까요?현재 광고·검색·AI 노출 상태를 무료로 진단해 드립니다.