검색엔진에게 길을 알려주세요: 사이트맵·robots.txt 가이드
홈페이지를 아무리 잘 만들어도 구글이 페이지를 제대로 찾지 못하면 검색 결과에 나타나지 않습니다. 이때 검색엔진에게 "우리 사이트에 이런 페이지들이 있어요"라고 안내하는 파일이 바로 **사이트맵(sitemap.xml)**과 robots.txt입니다.
사이트맵(sitemap.xml)이란?
사이트맵은 우리 사이트의 모든 페이지 주소를 목록으로 정리한 파일입니다. 구글이 이 파일을 읽으면 페이지를 더 빠르고 빠짐없이 수집(크롤링)합니다.
- 새 페이지가 빨리 노출됩니다 (예: 새 메뉴, 이벤트 페이지)
- 페이지가 많거나 서로 연결이 약한 사이트에 특히 유용
- 검색 순위를 직접 올려주진 않지만, 누락 없이 색인되도록 돕습니다
robots.txt란?
robots.txt는 검색엔진에게 "여기는 봐도 되고, 여기는 보지 마세요"라고 알려주는 파일입니다.
- 관리자 페이지, 장바구니, 내부 검색 결과 등 노출이 불필요한 페이지 차단
- 크롤링 자원을 중요한 페이지에 집중시킴
- 파일 안에 사이트맵 위치를 함께 적어두는 것이 좋습니다
이렇게 적용하세요
- 사이트맵 생성: 워드프레스는 Yoast·Rank Math 플러그인이 자동 생성합니다. 보통
사이트주소/sitemap.xml로 확인됩니다. - robots.txt 확인:
사이트주소/robots.txt로 접속해 내용을 점검하세요. 실수로 전체 사이트를 차단(Disallow: /)하면 검색에서 사라집니다. - 구글 서치 콘솔에 제출: '사이트맵' 메뉴에서 주소를 등록하면 색인 상태를 추적할 수 있습니다.
자주 하는 실수
- 개발 중 걸어둔 전체 차단을 오픈 후에도 그대로 두는 경우
- 사이트맵에 오래된·삭제된 페이지가 남아 있는 경우
- robots.txt로 페이지를 막았는데 검색에서 완전히 지워지길 기대하는 경우(차단과 색인 삭제는 다릅니다)
작지만 SEO의 기본이 되는 두 파일, 지금 한 번 점검해 보세요.
PICKTECH는 호주 한인 사업장의 웹사이트를 제작하며 사이트맵·robots.txt 설정과 서치 콘솔 등록까지 함께 챙겨드립니다. 검색 노출이 걱정된다면 편하게 문의해 주세요.