블로그를 시작할 때는 누구나 의욕이 넘친다.
나 역시 웹 호스팅 업체에 가입하고, 몇 달간 블로글ㄹ 운영하다가 도메인까지 구매하며 제법 야심차게 블로그를 키워보려 했다.
처음에는 google 색인도 잘 생성되었고,
서서히 검색 유입도 늘어나는 듯 보였다.
하지만 어느 순간부터 상황이 달라졌다.
어느 순간부터 시작된 이상 신호
- 새 글이 색인되지 않기 시작했고
- 기존에 잘 색인되던 글들도 하나둘 검색 결과에서 사라졌다
- 결국 도메인 메인 페이지 하나만 색으로 남고
- 나머지 페이지들은 전부 ‘크롤링됨 – 색인 생성되지 않음’ 상태로 쌓이기 시작했다.
Google Search Console를 열어보면, 이 항목에만 페이지 수가 무섭게 늘어나는 상황.
검색 유입이 급감하자 글을 쓸 의욕도 자연스럽게 사라졌고, 많은 사람들이 겪는 그 길,
방치형 블로그의 길로 들어서게 되었다.
새해를 맞아, 색인 문제를 다시 들여다보다
새해가 되면서 마음을 다시 잡고
“도대체 뭐가 문제였을까?”를 하나씩 점검해 보기로 했다.
그리고 조사하고, 설정을 뜯어보며 알게 된
구글 색인 문제의 실제 원인과 해결 방법을 정리해 보려 한다.
1. robots.txt 안의 사이트맥 주소 문제
블로그를 처음 운영할 때는
웹 호스팅 업체에서 제공한 기본 주소를 기준으로 모든 설정을 해 두었다.
- 사이트주소
- 사이트맵(sitemap.xml)
- 서치콘솔 등록
문제는 중간에 도메인을 구매해 연결하면서 발생했다.
내가 했던 실수
- 도메인은 새로 연결했지만
- robots.txt안의 사이트맵 주소는 기존 호스팅 업체 주소 그대로 유지
- 기존 호스팅 주소도 “혹시 기존 색인이 깨질까 봐”
접속 가능하도록 함께 유지
결과적으로 생긴 문제
- 동일 콘텐츠가 호스팅 업체 주소,
개인 도메인 주소 두 곳에서 모두 접근 가능하게 되었다. - 구글 입장에서는 중복 페이지로 인식될 가능성이 증가한 것이다.
⇒ 사이트는 반드시 하나의 대표 주소만 유지해야 한다.
해결 방향
- robots.txt안의 sitemap: 주소를 최종 도메인 기준으로 통일
2. 404 -> 메인 페이지 리다이렉트 설정 문제
두 번째로 큰 문제는 리다이렉트 플러그인 설정이었다.
“혹시 방문자가 404피이지를 보게 되면 안 좋지 않을까?” 라는 걱정 때문에,
- 존재하지 않는 페이지(404)가 요청되면
- 무조건 블로그 메인 페이지로 이동하도록 설정해 두었다.
이 설정이 왜 문제가 될까?
검색엔진 입장에서 보면, 없는 페이지인데 404를 주지 않고 메인포이지로 보내는 구조가 된다.
이는 Soft 404로 인식된다.
Soft 404의 결과
- 개별 글 URL은 신뢰도 하락
- 메인 페이지로 모든 신호가 몰림
- 구글은 “이 사이트에서 유효한 콘텐츠는 메인 페이지뿐”이라는 판단할 가능성 증가.
⇒ 결국 메인 페이지만 색인되고, 나머지 글은 전부 색인 제외
해결 방향
- 404페이지는 정상적으로 404상태코드 유지
- URL이 변경된 글만 개별적으로 303 리다이렉트
- “모든 404 -> 홈”방식은 SEO 관점에서 피해야 한다.
3. tag 페이지 검색 설정 문제 (크롤링 예산)
마지막으로 확인한 부분은 태그(tag)페이지 설정이었다.
검색엔진은 사이트마다 크롤링 예산(Crawl Budget)을 가진다.
태그가 많은 사이트의 문제
- /tag/xxx
- /tag/yyy
- /tag/zzz
같은 저가치 URL을 계속 크롤링
-> 정작 중요한 본문 글 수집 빈도 감소
특히 워드프레스 기본 태그 페이지는
- 내용이 짧고
- 기존 글을 나열한 중복 페이지인 경우가 대부분이다.
tag 페이지는 어떻게 처리하는 게 좋을까?
핵심 원칙
- robots.txt에서는 tag 페이지 크롤링 허용
- 색인만 제외(noindex)
즉,
“페이지는 볼 수는 있지만, 검색 결과에는 넣지마”
라는 신호를 주는 것이 가장 이상적이다.
Yoast SEO 기준 설정 방법
- SEO -> 설정(Settings)
- 콘텐츠 유형(Content Types) 또는 분류(Taxonomies) -> 태그(tags) 선택
- ‘검색 결과에 표시할까요?’ -> 아니오 선택
- 저장
이렇게 하면, 태그 페이지에만 자동으로 noindex, follow가 적용된다.
포스팅을 마치며…
돌이켜보면, 하면 안되는 것들만 복합적으로 다 한 것 같다.
그래놓고 구글이 나를 싫어한다고까지 생각했었다.
색인 문제가 생긴 이유는 구글의 알고리즘 변화라기보다 내 설정 실수의 누적에 가까웠다.
- 도메인 전환 시 대표 주소 미정리
- 404를 무조건 메인으로 보내는 리다이렉트
- 태그 페이지 색인 관리 부재
이 세 가지가 겹치면서 결국 검색엔진이 내 사이트를
신뢰하기 어려운 구조로 판단했을 가능성이 크다.
지금 이 글을 읽고 있는 분이라면, 아마도 나와 비슷하게
- ‘크롤링됨 – 색인 생성되지 않음’
- 검색유입 급감
- 글 쓰기 의욕 상실
을 경험하고 있을 것이다.
다행히 이런 문제들은 설정을 바로잡으면 회복이 가능하다.
Site map을 다시 생성해보자
위에서 한 모든 노력들에도 불구하고 색인이 생성되지 않는다면,
내 블로그의 사이트맵을 다시 발행해서 등록 해보자.
기존의 사이트맵에 도매인 업데이트 전의 주소들이 있어서 혼선을 만들 수 있으니,
시도해볼만한 방법이라고 생각한다. Yoast 에서 사이트맵을 새로 발행하는 방법은 별도 포스팅으로 올릴 예정이다.
이 글이 같은 문제를 격는 분들에게
조금이나마 시간을 아껴주는 안내서가 되기를 바란다.
이전글 – 일반인이 본 기간제 교사의 마약검사
– K580 1년 사용 후 깨달은 단점과 교체 이유
– 5살 아이와 함께한 가족 뮤지컬 [피터팬] 관람 후기 – 후크선장에 푹 빠진 하루