Казалось бы — простой вопрос. Запретить индексацию сайта гуглом. Интуитивно понятно, что нужно в robots.txt что-то прописать, диссалоу чего-то там. Вот мне и понадобилось недавно провести такую процедуру. Но я не помнил, как правильно называется робот гугла и, чтобы все узнать, написал в поисковую строку «запрет индексации гуглом».
И что бы вы думали? В топе выдачи ничего об этом не было. Т.е. там было о запрете индексации Яндексом, а про Гугл что-то вроде «по образцу» или того лучше статьи про метатег (который скрывает лишь часть контента на странице). Ну т.е это я и так знаю, вы мне скажите, как запретить индексацию сайта гуглом через роботс, а не «по образцу». Имечко робота дайте, а?
Короче, пришлось искать дальше. В конечном счете нашел. Достаточно было заглянуть на сам гугл. С этого и стоило начинать. Любую инфу подобного характера лучше узнавать из сайта-первоисточника, но я так привык полагаться на поиск, что стал строить ненужный велосипед и шарить по каким-то левым блогам. Короче, что это я вам свои приключения описываю. Все просто. Всего-то две строки, которые я и хотел узнать. Вот они:
Запрет индексации гуглом
User-agent: Googlebot
Disallow: /
Строки достаточно ввести в robots.txt и все: гугл при следующем обходе ваш сайт не индексирует, а остальные поисковые системы индексирует в рабочем порядке. Думаю, ясно, как это работает: сначала указываете имя поискового бота, потом его запреты. Для всех ПС, к примеру, это будет выглядеть следующим образом:
User-agent: *
Disallow: /
Другой способ — в хедер занести следующее:
<META NAME= «GOOGLEBOT» CONTENT= «NOINDEX, NOFOLLOW» >
Но тут надо еще понимать такой момент, что метатеги и команды роботс — это рекомендации боту гугла, пришедшему на сайт. Проиндексировать кой-чего (тексты урлов, к примеру) он может, перейдя по внешним ссылкам.
Что ж, надеюсь, что моя статья кому-нибудь поможет и вам не придется, как мне, искать нужное среди ненужного.
