robots.txt와 sitemap.xml: 블로그 검색 노출의 핵심 설정
- 공유 링크 만들기
- X
- 이메일
- 기타 앱
블로그에 글을 열심히 올렸는데 검색엔진에 노출이 잘 안 되는 경우,
이런 질문을 하게 됩니다:
“왜 내 글은 검색이 안 되지?”
“구글은 내 블로그를 어떻게 읽는 거야?”
“robots.txt? sitemap.xml? 이건 또 뭐지…?”
검색 노출의 시작은 검색엔진이 내 블로그를 ‘읽을 수 있게 해주는 것’입니다.
이를 위한 대표적인 기술이 바로 robots.txt와 sitemap.xml입니다.
이번 글에서는 이 두 파일이 무엇이고,
왜 중요한지,
블로그에서 어떻게 설정해야 하는지를 쉽게 설명드리겠습니다.
robots.txt란?
✔️ 정의
robots.txt는 검색 엔진 크롤러(bot)에게
“이 페이지는 봐도 돼요 / 보면 안 돼요”라고 알려주는 접근 허용/차단 설정 파일입니다.
✔️ 위치
https://내도메인.com/robots.txt
(루트 경로에 있어야 함)
✔️ 예시
User-agent: *Disallow: /private/Allow: /
| 설정 | 의미 |
| User-agent: * | 모든 검색엔진에 적용 |
| Disallow: /private/ | /private/ 경로는 크롤링 금지 |
| Allow: / | 그 외 전체는 허용 |
✔️ 실제 사용 목적
비공개 디렉토리/테스트 페이지 크롤링 방지
검색 엔진 봇의 크롤링 범위 조절
서버 과부하 방지 (트래픽 많은 대형 사이트의 경우)
민감 정보 페이지(예: /admin/) 차단
✔️ 주의
robots.txt로 차단한 페이지는 구글에 아예 표시되지 않음
(심한 경우 애드센스 검토도 실패할 수 있음)글을 숨기려면 noindex 메타 태그 사용이 더 적절한 경우도 있음
sitemap.xml이란?
✔️ 정의
sitemap.xml은 내 블로그에 어떤 글(페이지)들이 있는지를
검색엔진에 구조화된 목록으로 알려주는 파일입니다.
즉, “내 블로그에 이런 콘텐츠가 있어요”라고 구글에 제출하는 지도입니다.
✔️ 위치
보통 다음과 같은 경로에 생성됨:
https://내도메인.com/sitemap.xml
※ 워드프레스 등 CMS에서는 플러그인으로 자동 생성 가능 (예: Yoast SEO, RankMath)
✔️ 예시 (간단 구조)
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://myblog.com/post1</loc>
<lastmod>2026-01-15</lastmod>
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>https://myblog.com/post2</loc>
...
</url>
</urlset>
✔️ 실제 효과
검색엔진이 새 글을 빠르게 수집하고 색인함 (크롤링 최적화)
전체 블로그 구조를 한눈에 알려줘서 검색 노출 기회 증가
구글 서치콘솔 제출 시 필수
블로그에서 설정하는 방법
✅ 워드프레스 사용자
robots.txt:
SEO 플러그인(예: Yoast SEO)에서 가상 robots.txt 자동 생성 가능
직접 커스터마이징 가능
sitemap.xml:
대부분의 SEO 플러그인에서 자동 생성
예: https://myblog.com/sitemap_index.xml
✅ 티스토리/브런치/노션 등 외부 플랫폼
robots.txt 수정 불가한 경우 많음
sitemap.xml은 수동 제출이 필요하거나 지원하지 않기도 함
→ 이럴 땐 서치콘솔에서 제출할 수 있는 RSS 피드 주소라도 등록해두는 것이 좋음
구글 서치콘솔에 제출하는 방법
내 블로그 도메인을 등록하고 소유권 인증
왼쪽 메뉴 → “사이트맵” 클릭
sitemap.xml 경로를 입력하고 제출
제출 후 상태가 “성공”으로 뜨면 완료!
robots.txt와 sitemap.xml은 함께 써야 효과적
| 요소 | 역할 |
| robots.txt | 무엇을 크롤링할지 제어 |
| sitemap.xml | 무엇을 우선적으로 크롤링해야 할지 안내 |
둘 다 설정하면:
✅ 검색엔진에게 선명한 신호 전달 가능
✅ 불필요한 경로는 제외, 중요한 글은 빠르게 색인
✅ 애드센스 승인 시 콘텐츠 확인 효율 향상
마무리
많은 블로거들이 robots.txt와 sitemap.xml 설정을
“전문가나 개발자만 다루는 것”이라고 생각하지만,
실제로는 검색 노출, 애드센스 승인, SEO에 직접적으로 영향을 주는 핵심 설정입니다.
특히 구글에 내 블로그를 잘 노출시키고 싶다면,
검색엔진 입장에서 내 블로그를 어떻게 볼지 먼저 생각해야 합니다.
그 출발점이 바로
👉 robots.txt로 “이건 보여줘도 돼요”,
👉 sitemap.xml로 “여기서부터 보세요”를 말해주는 것이죠.
- 공유 링크 만들기
- X
- 이메일
- 기타 앱
댓글
댓글 쓰기
💬 이 글에서 가장 도움이 된 내용은 무엇이었나요?
짧게라도 댓글로 남겨주시면 다음 글에 반영하겠습니다.