"홈페이지를 만든 지 6개월이 넘었는데, 구글에 검색하면 아무것도 안 나옵니다."
지난달 상담 온 학원 원장님의 첫마디였습니다. 300만 원을 들여 카페24로 홈페이지를 만들었고, 블로그도 꾸준히 썼는데 구글에 학원 이름을 쳐도 나오지 않았습니다. 확인해보니 원인은 한 줄이었습니다. robots.txt 파일에 Disallow: /가 적혀 있었습니다. 사이트 전체를 구글에게 "들어오지 마세요"라고 차단한 것입니다. 제작 업체가 개발 중에 넣어둔 설정을 납품할 때 지우지 않은 것이었습니다.
"기술 SEO(테크니컬 SEO)란 검색엔진이 내 사이트를 발견하고, 읽고, 저장할 수 있도록 기술적 환경을 정비하는 작업이다. 확인할 것은 robots.txt, 사이트맵, 사이트 속도 3가지뿐이다." — 야무진SEO
기술 SEO가 어렵게 느껴지는 이유
"테크니컬 SEO"라는 이름부터 겁이 납니다. 인터넷에 검색하면 robots.txt 문법, XML 사이트맵 코드, 캐노니컬 태그, 크롤 버짓, 코어 웹 바이탈... 개발자만 알 것 같은 용어가 쏟아집니다.
저도 3년 전에 같은 벽에 부딪혔습니다. 사진작가 출신이라 코딩은 몰랐고, "기술 SEO"라는 단어를 들으면 머리가 아팠습니다. 그런데 30개 사이트를 직접 만들고 운영하면서 깨달은 것이 있습니다. 사장님이 확인해야 할 기술 SEO는 딱 3가지입니다.
- robots.txt — 구글이 내 사이트에 들어올 수 있는가
- 사이트맵 — 구글에게 내 페이지 목록을 전달했는가
- 사이트 속도와 HTTPS — 들어온 구글이 빠르고 안전하게 읽을 수 있는가
이 3가지만 정상이면 기술 SEO의 80%는 끝난 것입니다. 나머지 20%는 사이트가 커진 이후에 신경 써도 늦지 않습니다.
1. robots.txt — 구글의 출입증
robots.txt가 뭔가요
robots.txt는 내 사이트의 맨 앞에 붙어 있는 안내문입니다. 구글의 크롤러(정보 수집 로봇)가 사이트에 처음 방문하면 가장 먼저 이 파일을 읽습니다. "이 페이지는 봐도 됩니다", "저 페이지는 보지 마세요"라고 알려주는 출입 목록입니다.
SEO란 무엇인가에서 설명한 검색엔진의 3단계(크롤링 → 인덱싱 → 랭킹) 중 첫 번째 관문이 바로 이것입니다. robots.txt가 잘못되어 있으면 크롤링 자체가 안 되고, 인덱싱도 안 되고, 당연히 검색 결과에도 나오지 않습니다.
지금 바로 확인하는 법
브라우저 주소창에 내사이트주소/robots.txt를 입력하세요. 예를 들어 yamujinseo.kr/robots.txt를 치면 됩니다. 텍스트 파일이 뜨면 정상이고, 아래 내용을 확인합니다.
정상인 경우:
User-agent: *
Allow: /
Sitemap: https://내사이트주소/sitemap.xml
위험한 경우:
User-agent: *
Disallow: /
Disallow: /는 사이트 전체를 차단하는 설정입니다. 이 한 줄이 있으면 구글은 내 사이트의 어떤 페이지도 크롤링하지 않습니다. 앞서 말씀드린 학원 원장님 사례가 바로 이 경우였습니다.
실제로 많이 발생하는 문제
저희가 30개 사이트를 운영하고, 50건 이상의 SEO 진단을 하면서 가장 많이 본 robots.txt 문제는 이 3가지입니다.
첫째, 전체 차단. 제작 업체가 개발 단계에서 Disallow: /를 넣어두고 납품 시 제거하지 않는 경우입니다. 특히 카페24, 아임웹 같은 플랫폼에서 커스텀 제작할 때 자주 발생합니다. 한 인테리어 업체는 이것 때문에 1년간 구글 노출이 0이었습니다.
둘째, robots.txt 파일 자체가 없는 경우. 파일이 아예 없으면 구글은 모든 페이지를 크롤링할 수 있으니 치명적이지는 않습니다. 하지만 사이트맵 위치를 전달할 기회를 잃고, 관리자 페이지 같은 불필요한 영역까지 크롤링 예산을 낭비하게 됩니다.
셋째, CSS/JS 파일 차단. Disallow: /css/나 Disallow: /js/로 스타일시트와 스크립트를 차단하면 구글이 페이지를 렌더링하지 못합니다. 구글은 페이지를 사람처럼 화면으로 그려서 평가하는데, CSS와 JS가 차단되면 빈 페이지로 인식합니다.
플랫폼별 robots.txt 확인 위치
카페24 — 쇼핑몰 관리자 > 상점관리 > SEO 설정 > robots.txt 편집. 직접 수정이 가능합니다. 기본값이 전체 허용인지 반드시 확인하세요.
아임웹 — 아임웹은 자체적으로 robots.txt를 관리합니다. 내도메인/robots.txt로 접속해서 내용을 확인하고, 문제가 있으면 아임웹 고객센터에 문의해야 합니다.
워드프레스 — Yoast SEO 또는 Rank Math 플러그인의 도구 > 파일 편집기에서 robots.txt를 수정할 수 있습니다. 설정 > 읽기에서 "검색엔진 접근 차단" 체크박스가 해제되어 있는지도 확인하세요. 이 체크박스 하나가 Disallow: /를 생성합니다.
2. 사이트맵 — 구글에게 건네는 페이지 목록
사이트맵이 뭔가요
사이트맵(sitemap.xml)은 내 사이트에 있는 모든 페이지의 목록을 구글에게 전달하는 파일입니다. robots.txt가 "어디를 봐도 되는지" 알려주는 것이라면, 사이트맵은 "여기에 이런 페이지들이 있으니 꼭 봐주세요"라고 적극적으로 알려주는 것입니다.
사이트맵이 없어도 구글은 링크를 따라가며 페이지를 발견합니다. 하지만 작은 사이트라도 사이트맵이 있으면 구글이 새 페이지를 더 빨리, 더 정확하게 발견합니다. 홈페이지가 검색에 안 나올 때 가장 먼저 확인하는 것도 사이트맵 제출 여부입니다.
지금 바로 확인하는 법
브라우저에 내사이트주소/sitemap.xml을 입력하세요. XML 형식의 페이지 목록이 뜨면 사이트맵이 있는 것입니다. 404 에러가 뜨면 사이트맵이 없는 것입니다.
사이트맵이 있다면, 다음 단계는 구글 서치콘솔에 제출했는지 확인하는 것입니다.
- 구글 서치콘솔에 로그인합니다
- 좌측 메뉴에서 "Sitemaps"를 클릭합니다
- 제출한 사이트맵 목록과 상태를 확인합니다
상태가 "성공"이면 정상입니다. 사이트맵이 제출되어 있지 않다면 URL 입력란에 sitemap.xml을 입력하고 제출 버튼을 누르세요. 이것만으로 구글이 내 사이트의 모든 페이지를 인식하게 됩니다.
사이트맵이 없다면 어떻게 만드나요
워드프레스 — Yoast SEO 플러그인을 설치하면 사이트맵이 자동으로 생성됩니다. 별도 작업이 필요 없습니다. 플러그인 설정에서 XML Sitemap 기능이 켜져 있는지만 확인하세요.
카페24 — 쇼핑몰 관리자 > 상점관리 > SEO 설정에서 사이트맵 자동 생성 기능을 켤 수 있습니다.
아임웹 — 자동으로 사이트맵을 생성해 줍니다. 내도메인/sitemap.xml로 접속해서 확인하세요.
직접 만들기 — XML-Sitemaps.com에 내 사이트 주소를 입력하면 무료로 사이트맵 파일을 생성해 줍니다. 500페이지 이하 사이트라면 충분합니다.
사이트맵 관리 시 주의사항
사이트맵에는 실제로 검색 결과에 노출되기를 원하는 페이지만 포함해야 합니다. 404 에러를 반환하는 페이지, 리다이렉트되는 페이지, noindex 처리한 페이지가 사이트맵에 들어 있으면 구글에게 혼란스러운 신호를 보내는 것입니다. 저희가 운영하는 치과 사이트에서 삭제된 이벤트 페이지 30여 개가 사이트맵에 그대로 남아 있었는데, 이를 정리한 후 서치콘솔의 "크롤링됨 - 현재 색인이 생성되지 않음" 오류가 2주 만에 절반으로 줄었습니다.
3. 사이트 속도와 HTTPS — 구글이 편하게 읽을 수 있는가
사이트 속도가 왜 중요한가
구글은 2021년부터 코어 웹 바이탈(Core Web Vitals)을 순위 요소로 사용하고 있습니다. 쉽게 말하면, 느린 사이트는 순위가 떨어집니다. 사용자 입장에서도 마찬가지입니다. 페이지 로딩이 3초를 넘기면 방문자의 53%가 이탈한다는 구글의 연구 결과가 있습니다.
"사이트 속도는 사용자 경험의 체온계입니다. 숫자가 높으면 열이 나고 있는 것이고, 방문자가 떠나기 시작합니다. 속도를 재는 데 1분이면 됩니다." — 야무진SEO
지금 바로 확인하는 법
PageSpeed Insights에 내 사이트 주소를 입력하세요. 모바일과 데스크톱 점수가 나옵니다.
- 90~100점: 우수 (그대로 유지)
- 50~89점: 보통 (이미지 최적화부터 시작)
- 0~49점: 나쁨 (전문가 도움 필요)
점수가 낮다면 가장 먼저 할 것은 이미지 최적화입니다. 대부분의 소규모 사이트에서 속도 저하의 원인 1순위가 용량이 큰 이미지입니다.
- 이미지를 WebP 형식으로 변환합니다 (JPEG 대비 30~50% 용량 감소)
- PC 기준 가로 1280px, 모바일 기준 420px 이하로 리사이즈합니다
- 한 장당 200KB 이하를 목표로 합니다
저희가 운영하는 한 펜션 사이트에서 메인 페이지의 사진 8장을 WebP로 변환하고 리사이즈했더니, 모바일 PageSpeed 점수가 28점에서 71점으로 올랐습니다. 코딩은 한 줄도 건드리지 않았습니다.
HTTPS는 기본 중의 기본
HTTPS는 사이트와 방문자 사이의 통신을 암호화하는 보안 프로토콜입니다. 2026년 현재, HTTPS가 적용되지 않은 사이트는 크롬 브라우저에서 "안전하지 않음" 경고가 뜹니다. 고객이 내 홈페이지에 들어왔는데 "이 사이트는 안전하지 않습니다"라는 경고가 뜨면 바로 뒤로 가기를 누릅니다.
구글도 HTTPS를 순위 신호로 사용합니다. HTTP 사이트는 같은 조건이라면 HTTPS 사이트보다 순위가 낮습니다.
확인 방법: 내 사이트 주소 앞에 자물쇠 아이콘이 있으면 HTTPS가 적용된 것입니다. 자물쇠가 없거나 "안전하지 않음"이라고 표시되면 SSL 인증서가 설치되지 않은 것입니다.
해결 방법: 카페24, 아임웹, 워드프레스(대부분의 호스팅) 모두 관리자 화면에서 무료 SSL 인증서를 활성화할 수 있습니다. Let's Encrypt라는 무료 인증서를 지원하는 호스팅이 대부분입니다. 호스팅 업체 고객센터에 "SSL 인증서 설치해 주세요"라고 요청하면 됩니다.
5분 셀프 점검 — 지금 당장 3단계
코딩을 모르는 사장님도 5분이면 끝나는 기술 SEO 점검법입니다. 온페이지 SEO 체크리스트와 함께 진행하면 사이트의 기본기를 한 번에 잡을 수 있습니다.
1단계: robots.txt 확인 (1분)
- 브라우저에 내사이트주소/robots.txt 입력
- Disallow: /가 있으면 즉시 제거 요청
- 파일이 없으면 제작 업체에 생성 요청
2단계: 사이트맵 확인 + 서치콘솔 제출 (2분)
- 브라우저에 내사이트주소/sitemap.xml 입력
- 사이트맵이 있으면 구글 서치콘솔에서 제출 여부 확인
- 없으면 플랫폼별 자동 생성 기능 활성화 또는 XML-Sitemaps.com으로 생성
3단계: 속도 + HTTPS 확인 (2분) - PageSpeed Insights에서 점수 확인 - 50점 이하면 이미지 최적화부터 시작 - 주소창에 자물쇠 아이콘 있는지 확인 (없으면 SSL 설치 요청)
이 3단계를 통과하면 기술 SEO의 기본은 갖춘 것입니다. 구글 상위노출을 위한 출발선에 선 것이고, 여기서부터 키워드 분석과 콘텐츠 작업이 의미를 갖습니다.
기술 SEO와 온페이지 SEO, 뭐가 다른가요
온페이지 SEO는 제목 태그, 메타디스크립션, H태그, 내부 링크 등 콘텐츠와 HTML 태그를 최적화하는 작업입니다. 기술 SEO는 그 콘텐츠를 구글이 "물리적으로 읽을 수 있는 환경"을 만드는 작업입니다.
비유하자면 이렇습니다. 온페이지 SEO가 가게 안의 진열과 간판이라면, 기술 SEO는 가게 앞 도로가 막혀 있지 않은지, 문이 잠겨 있지 않은지, 전기가 들어오는지 확인하는 것입니다. 도로가 막혀 있으면(robots.txt 차단) 손님이 아무리 많아도 가게에 올 수 없습니다.
둘 다 해야 하지만, 기술 SEO가 먼저입니다. 문이 잠겨 있는데 진열을 아무리 예쁘게 해봐야 소용없습니다.
자주 묻는 질문
Q1. 기술 SEO는 개발자만 할 수 있나요?
아닙니다. 이 글에서 다룬 3가지 점검(robots.txt, 사이트맵, 속도/HTTPS)은 코딩 지식 없이 브라우저와 관리자 화면만으로 확인 가능합니다. 수정이 필요한 경우에도 대부분 플랫폼 관리자 화면에서 클릭 몇 번이면 해결됩니다. 저도 코딩을 모르는 상태에서 30개 사이트의 기술 SEO를 직접 관리하고 있습니다.
Q2. robots.txt에서 Disallow: /를 발견했습니다. 직접 바꿔도 되나요?
워드프레스라면 Yoast SEO 플러그인의 도구 > 파일 편집기에서 직접 수정할 수 있습니다. 카페24는 관리자 > SEO 설정에서 수정 가능합니다. 아임웹이나 기타 플랫폼은 고객센터에 "robots.txt에서 Disallow: /를 제거해 주세요"라고 요청하세요. 수정 후 구글 서치콘솔의 URL 검사 도구로 크롤링이 정상인지 확인하면 됩니다.
Q3. 사이트맵을 제출하면 바로 검색에 나오나요?
아닙니다. 사이트맵 제출은 "구글, 여기 이런 페이지가 있어요"라고 알려주는 것이지, 즉시 검색 결과에 나오는 것을 보장하지 않습니다. 보통 제출 후 며칠에서 2주 정도면 구글이 크롤링하고 인덱싱합니다. 새 사이트라면 한 달까지 걸리기도 합니다. SEO와 GEO의 차이에서도 설명했듯이 검색엔진 최적화는 시간이 필요한 작업입니다.
Q4. PageSpeed 점수가 30점대입니다. 심각한 건가요?
모바일 점수가 30점대라면 속도 개선이 시급합니다. 방문자 이탈률이 높고, 구글 순위에도 불이익이 있습니다. 대부분의 경우 이미지 최적화(WebP 변환, 리사이즈)만으로 20~30점 이상 개선됩니다. 그래도 50점을 넘기지 못하면 호스팅 서버 변경이나 코드 최적화가 필요할 수 있으니 전문가 상담을 추천합니다.
Q5. 캐노니컬 태그, 크롤 버짓 같은 것은 신경 안 써도 되나요?
사이트 규모가 100페이지 이하인 소규모 사이트라면 당장 신경 쓰지 않아도 괜찮습니다. 캐노니컬 태그는 같은 콘텐츠가 여러 URL로 존재할 때 원본을 지정하는 기능이고, 크롤 버짓은 구글이 하루에 내 사이트를 방문하는 횟수입니다. 이 두 가지는 페이지 수가 수백~수천 개로 늘어났을 때 중요해집니다. 지금은 robots.txt, 사이트맵, 속도 3가지에 집중하세요. 블랙햇 SEO를 피하면서 기본기를 다지는 것이 우선입니다.
"기술 SEO는 이름만 어렵습니다. 확인할 것은 3가지, 걸리는 시간은 5분입니다. 코딩을 몰라도 됩니다. 다만 한 번은 반드시 확인해야 합니다. 문이 잠겨 있는 가게에는 아무도 들어올 수 없으니까요." — 야무진SEO