구글 서치 콘솔 robots. txt에 의해 차단됨 해결 방법1

구글 서치 콘솔에서 robots. txt에 의해 차단됨. 메시지를 확인하셨나요?

이 메시지가 눈에 띄던 순간 무엇을, 왜 차단했다는 것인지 확인할 수밖에 없었는데요.

혹시나 구글이 원하지 않는 어떤 금칙 사항을 나도 모르게 어긴 것은 아닌지 순간 불안했지만 일단, 확인은 해보고 나서 하나씩 풀어가 보도록 하겠습니다.

robots. txt에 의해 차단됨 메시지 확인

검색로봇이 내 사이트를 크롤링해야 내 사이트가 정상적으로 노출도 되고 해당 사이트를 사람들이 찾아볼 수 있게 되는데요.

robots. txt에 의해 차단됨. 메시지가 확인되었다는 것은 어딘가 문제가 있어 보이죠?

구글 서치 콘솔에 들어가셔서 메뉴에서 페이지를 클릭하시면 페이지 색인이 생성되지 않는 이유 중의 하나로 이 메시지가 자리 잡고 있는 것을 이미 확인하셨을 텐데요.

해당 robots. txt에 의해 차단됨 메시지를 클릭 후 들어가시면 저의 경우 해당 사이트의 /m/search와 /m/guestbook 두 항목이 차단되었다고 확인이 됩니다.

위에서 차단되었다고 확인된 해당 url/search, 해당 url/guestbook을 각각 선택하고 오른쪽 하단에 있는 ROBOTS. TXT 보고서 열기를 클릭해 들어가 줍니다.

그러면 아래와 같은 화면이 나타나는데요. Google bot에서 무시되는 규칙이라며 Disallow 된 항목들이 보이실 것입니다.

항목들을 보시면서 혹시 눈치채셨나요? 그러니까, 결론은 이 항목들이 차단되는 것이 맞다는 것입니다.

확인되는 search, admin, owner, manage, guestbook 처럼 로봇이 차단하겠다고 한 목록을 보니 모두 내 관리자 페이지에 있는 것들이라는 것을 확인할 수 있었습니다.

guestbook도 내 방명록에 해당하는 부분이라서 굳이 구글 봇이 크롤링을 할 필요도 없고 차단되는 게 맞다는 생각이 들죠?

구글 서치 콘솔에 오류로 떠 있기는 해서 긴장하기는 했지만 구글 봇이 차단하는 것이 맞는 항목들이라서 한시름 놓았습니다.

참고로, robots. txt로 인해 차단된 페이지를 차단 해제에 관해서는 서치 콘솔 고객센터에서도 내용을 확인해 보세요.

지금까지 구글 서치 콘솔 robots. txt에 의해 차단됨. 해결 방법에 대해서 알아보았는데요.

구글 서치 콘솔에 오류로 떠 있다고 해서 무조건 해결하려 하지 마시고 지금처럼 무시하고 넘어가도 되는 경우가 있다는 것을 알고 계시면 도움이 되실 것입니다.

▼▼함께 보시면 도움 되는 글들▼▼