이 글은 robots 태그의 기능 자체를 설명하는 것이 아닙니다. 그와 관련된 자료는 이 문서를 참고하세요.
robots
웹에서 robots라 함은 크롤러를 의미합니다. 구글, 네이버 같은 검색 엔진이 기용하는 일꾼입니다. 이 일꾼은 인터넷을 돌아다니며 검색 엔진에 표시할 사이트를 찾습니다. robots 설정은 이 일꾼에게 보여주는 안내문입니다.
가장 보편적인 방식은 robots.txt 파일을 만들어 두는 것입니다. 그러나 도메인 전체를 한 번에 관리하기 때문에 유연성이 부족합니다. 그래서 robots tag가 존재합니다.
맞춤 로봇 헤더 태그
블로그스팟의 이 설정도 그것을 위해 존재합니다. 이것은 페이지 종류별로, 나아가 각각 포스트별로 다른 robots 설정을 할 수 있게 해 줍니다.
그리고 이것은 X-Robots-Tag 방식을 사용합니다.
네트워크 신호에 정보를 실어 보내는 방식입니다. 그래서 HTML 소스 내에서는 이 기능이 제대로 작동 중인 것인지 알 길이 없습니다. 작동되는지 점검해 보려면 우선 개발자 도구 > 네트워크 탭으로 가서 맨 위에 있는 HTML 항목을 클릭해 보세요. 응답 헤더에 x-robots-tag 항목이 있을 것입니다.