한 개인 블로그 운영자가 검색 노출을 끊으려다 robots.txt의 전면 차단이 오히려 noindex 확인을 막았던 과정을 기록했다. 이후 검색 로봇의 접근을 허용하고 페이지의 제외 지시를 읽게 했으며, 변경 뒤 삭제 확인까지는 수개월이 걸렸다. Google 공식 문서도 크롤링이 차단되면 noindex가 적용되지 않을 수 있다고 설명한다. 검색 제외만으로 외부 수집이나 공개 페이지 접근까지 막을 수는 없다.
Tech
검색에서 빼려면 크롤러가 noindex를 읽을 수 있어야 하며, 이는 접근 차단과 다르다.
한 개인 블로그 운영자가 검색 노출을 끊으려다 robots.txt의 전면 차단이 오히려 noindex 확인을 막았던 과정을 기록했다. 이후 검색 로봇의 접근을 허용하고 페이지의 제외 지시를 읽게 했으며, 변경 뒤 삭제 확인까지는 수개월이 걸렸다. Google 공식 문서도 크롤링이 차단되면 noindex가 적용되지 않을 수 있다고 설명한다. 검색 제외만으로 외부 수집이나 공개 페이지 접근까지 막을 수는 없다.