워드프레스 Noindex 태그 및 robots.txt 차단됨 문제 해결방법

구글 서치콘솔로부터 noindex 태그로 인해 제외됐다는 메시지를 받으셨다면 당황하셨을 겁니다. 티스토리만 사용했던 분들은 처음 보는 검색제외 메시지니까요. 하지만 걱정할 필요도 없고, 거의 90%이상 어떤 조치도 취하지 않으셔도 됩니다. 간단한 사진과 함께 이유를 살펴볼까요.





1. 워드프레스 Noindex 태그에 의해 제외됨

noindex 태그에 의해 제외되었다는 말은 어떤 특정 페이지(url)를 ‘색인 생성하지 않았다’는 말입니다. 이 말은 곧 포털사이트에 검색해도 ‘해당 페이지가 검색에서 노출되지 않는다’는 의미입니다.

구글, 네이버, 다음 등 각 포털사이트에는 ‘검색엔진’이란 로봇이 존재하는데요. 이 로봇이 웹 세계을 돌아다니면서 발행된 글(페이지 url)에 방문해서 정보를 긁어가는 활동을 합니다.

긁어간다는 것은 ‘크롤링’이라고 익숙하실 텐데요. 크롤링은 바로 검색로봇의 이런 활동을 말하는 것입니다.



구글 서치콘솔에 Sitemap 제출하는 이유

우리가 워드프레스 블로그를 처음 만들고 구글 서치콘솔, 네이버 웹마스터, 빙 웹마스터 등 각 포털사이트에 sitemap을 제출하는 절차를 거치게 되는데요.

이 이유는 바로 로봇들이 여기 내 사이트에 좋은 글들 올리고 있으니까 늦지 말고 빨리 검색에 노출시켜줘, 라고 말하는 것과 같습니다.

  • 즉 글을 발행하면 (시간이 오래걸리는게 문제지만) 언젠가는 로봇들이 알아서 정보가 담긴 URL 주소를 색인생성한 뒤 검색에 노출시켜줍니다.

사실 사이트맵 제출하는 일은 번거로운 일이긴 합니다. 그러나 이렇게 직접 요청을 넣어주면 로봇들이 수월하고 조금 더 즉각적으로 내 정보를 긁어가 색인한 뒤 검색에 노출시키는데 도움이 됩니다. 로봇의 수집활동을 도와준다, 라고 이해하시면 됩니다.



워드프레스 noindex 태그 제외됨 페이지 개수

위 이야기는 모르셔도 되지만 이해하는데 도움이 될 것 같아 적어봤습니다. 다시 돌아와, noindex 태그로 제외된 URL 페이지 개수가 아예 없을 수는 없고, 존재하는게 당연한 문제입니다. 글을 쓰면 쓸수록 이 문제에 의해 제외되는 페이지는 늘어날수밖에 없습니다.


검색 노출이 필요하지 않는 페이지

그 이유는 검색엔진에 검색 시, 노출이 될 필요가 없는(또는 노출이 되면 안되는) 페이지들이 있습니다. 우리가 검색에 노출되길 원하는 것은 실제 글을 발행한 페이지 정도일 겁니다.

구글 서치콘솔 등에 사이트맵을 제출하면 로봇들은 (크롤링은 하지만) 검색에 노출될 필요가 없는 페이지들은 검색 노출에서 제외시킵니다. 우리가 별다른 조치를 취하지 않아도 알아서 이런 페이지들은 제외시킵니다.


대표적으로 아래 고유주소 뒤에 붙는 것들인데요.

  • /wp-admin 또는 /admin : 관리자(나)만 접속가능한 페이지는 노출될 필요가 없습니다.
  • /feed : 실제 주소로 접속해보면 내 글 페이지가 보이는게 아니라 feed페이지가 뜹니다. 이 역시 검색에 노출될 필요가 없습니다. 그래도 불안하시면 /feed만 삭제하고 검색해서 해당 포스팅이 정상적으로 뜨는지 확인하시면 됩니다.
  • /category
  • /tag


위 항목같은게 뒤에 붙어있다면 해당 페이지는 noindex 되어 검색시 노출되지 않는게 정상입니다. 따라서 어떤 조치도 필요하진 않지만, 혹시 모르니 확인하는 습관을 들이시면 좋습니다.



해결 방법

구글 서치콘솔로부터 Noindex 태그로 제외됨 메시지를 받았다면, 걱정하지말고 서치콘솔로 직접 들어가보시면 됩니다.

꼭 noinex 태그문제가 아니더라도 다양한 이유로 제외된 메시지들을 앞으로 보시게 될 겁니다. 이유가 무엇이든 아래 경로로 들어와 직접 확인하시면 됩니다.

  • 구글 서치콘솔 접속 > 문제가 된 사이트 선택 > 색인생성 > 페이지(아래 화면)
워드프레스 색인생성 문제 중 noindex와 robots.txt 문제는 빈번하게 발생합니다. 모든 경우가 별도로 조치가 필요하진 않습니다. 서치콘솔로 직접 들어가 해당 사유를 클릭하시면 실제 url 주소를 확인하실 수 있습니다. 본 사진은 페이지 색인 생성되는 않는 이유의 서치콘솔 실제 캡쳐화면입니다.
구글 서치콘솔에서 색인이 제외되거나 차단된 실제 페이지 리스트를 직접 확인할 수 있습니다


위 경로를 통해 페이지 색인이 생성되는 않는 페이지들의 실제 url과 이유를 직접 확인하실 수 있습니다. 아래 사진을 봐주세요.

워드프레스 noindex 태그에 의해 제외됨 문제의 증상을 제대로 확인하는 방법은 구글 서치콘솔에 직접 들어가보는 것입니다. 본 사진은 실제 조치를 취하지 않아도 되는 실제 사례입니다.
고유주소 뒤에 /feed 라고 적힌걸 확인할 수 있습니다.



실제로 눌러보면 거의 /feed 문제라는 걸 알 수 있습니다.








2. 워드프레스 robots.txt에 의해 차단됨 문제

robots.txt에 의해 차단됨은 뭔가 더 심각한 문제, 수익에 치명적인 데미지를 주는 문제인 것 같지만 index 태그에 의한 제외와 비슷한 맥락입니다.

검색로봇(robot)이 불필요하게 들어와 정보를 수집하지 않아도 되는 페이지를 사전에 차단한 것을 의미합니다.

대표적으로 /admin 또는 /wp-admin과 같은 주소를 뒤에 달고 있는 것들입니다. admin은 관리자, 즉 나만 접속해서 관리해야 하는 주소이므로 이 정보까지 크롤링하고 검색노출시키면 당연히 문제가 되겠죠?

robots.txt 페이지 색인 생성 문제 발생시 직접 들어가보면 admin 관리자 페이지가 차단된 것을 알 수 있습니다. 실제 캡쳐화면입니다.


해결방법

워드프레스 noindex 문제와 마찬가지로 페이지에 들어가 해당 문제를 눌러 내 고유주소 뒤에 어떤게 따라 붙었는지 확인하시면 됩니다. 만약 잘 모르겠다면 바로가기 표시를 눌러 직접 어떤 페이지인지 확인해도 됩니다.

검색 노출이 되어야 하는 페이지인지 아닌지 바로 아실 수 있습니다. 저와 동일한 형식의 url이 뜬다면 차단되어야할 것이 제대로 차단된 것입니다.

지금까지 워드프레스 Noindex 태그에 의해 제외됨과 robots.txt에 의해 차단됨 문제와 해결방법을 살펴봤습니다. 당황하지 마시고 서치 콘솔에 들어가 직접 확인하시는게 가장 정확하고 빠른 해결방법입니다.

90%이상은 이렇게 검색 로봇들이 굳이 검색 노출을 하지 않아도 되는 페이지들을 알아서 제외시키고, 차단하는데요. 하지만 어떤 경우는 정말 문제가 되서 조치가 필요한 상황이 생기는 경우도 있습니다.

플러그인 요스트 / rank math 문제인 경우 – 해결방법

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다