한 줄 요약robots.txt는 크롤러에게 ‘어디를 보지 말라’고 알려주는 파일입니다. 관리자·API만 막고 공개 페이지는 열어 두는 것이 기본입니다.
기본 예시
User-agent: * / Allow: / / Disallow: /admin/ / Disallow: /api/ / Sitemap: https://도메인/sitemap.xml — 이처럼 전체 허용 후 관리 영역만 제외합니다.
자주 하는 실수
| 실수 | 결과 |
|---|---|
| Disallow: / 로 전체 차단 | 검색에서 사라짐 |
| 개발 중 차단 설정을 오픈 후에도 유지 | 노출 안 됨 |
| CSS·JS 폴더 차단 | 페이지 해석 방해 |
| AI 크롤러 일괄 차단 | AI 검색 인용 기회 상실 |
참고
robots.txt는 접근 안내일 뿐 보안 장치가 아닙니다. 민감한 페이지는 로그인 등으로 보호하세요.
자주 묻는 질문
AI 크롤러를 막아야 하나요?
콘텐츠 정책에 따라 다르지만, AI 검색 노출을 원한다면 검색용 크롤러는 허용하는 것이 일반적입니다.
우리 회사에 적용하면 어떻게 될까요?현재 광고·검색·AI 노출 상태를 무료로 진단해 드립니다.