robots.txt·sitemap 생성기robots.txt 만들기·검사, AI 크롤러 차단, sitemap.xml 만들기

robots.txt·sitemap 생성기 사용법

검색엔진과 AI 크롤러에게 어떤 경로를 열고 막을지 정하는 robots.txt 를 만들고, 이미 있는 파일을 검사해 경로별 허용 여부를 판정합니다. 주소 목록으로 sitemap.xml 도 만들 수 있습니다.

1. 1

   틀을 고르고 그룹을 만듭니다

   전체 허용·전체 차단·관리자 경로 차단·AI 크롤러 차단 중 하나로 시작한 뒤, 그룹마다 User-agent 와 Allow·Disallow 경로, Crawl-delay 를 더하거나 고칩니다. Sitemap 주소도 적습니다.

2. 2

   결과를 받아 검사합니다

   만든 robots.txt 를 복사하거나 파일로 받고, 검사·판정해 보기를 눌러 문법 오류와 주의할 점을 확인합니다. 다른 사이트의 robots.txt 를 붙여 넣어 검사해도 됩니다.

3. 3

   경로 허용 여부를 판정합니다

   봇 이름과 경로(또는 전체 주소)를 넣으면 어느 그룹의 어느 규칙 때문에 허용·차단되는지 보여줍니다. sitemap.xml 만들기에서는 주소를 한 줄에 하나씩 넣어 사이트맵을 만듭니다.

자주 묻는 질문

Allow 와 Disallow 가 같은 경로에 겹치면 어느 쪽이 이기나요?

RFC 9309 와 Google 방식대로 경로와 가장 길게 맞는 규칙이 이깁니다. 길이가 같으면 Allow 가 이깁니다. 봇은 자기 이름과 가장 잘 맞는 그룹 하나만 보고, 없을 때만 User-agent: * 그룹을 봅니다.

robots.txt 로 막으면 검색 결과에서도 사라지나요?

아닙니다. robots.txt 는 수집만 막을 뿐이라 다른 곳에 링크가 있으면 주소가 검색 결과에 남을 수 있습니다. 검색에서 빼려면 페이지에 noindex meta 태그나 X-Robots-Tag 를 쓰고, 그 페이지는 robots.txt 로 막지 않아야 합니다.

함께 쓰면 좋은 도구

• OG 메타태그 생성
• HTTP 상태 코드
• URL 파서
• UTM 링크 생성기
• JSON 포매터
• 해시 생성기