Как запретить индексацию сайта гуглом

Казалось бы — простой вопрос. Запретить индексацию сайта гуглом. Интуитивно понятно, что нужно в robots.txt что-то прописать, диссалоу чего-то там. Вот мне и понадобилось недавно провести такую процедуру. Но я не помнил, как правильно называется робот гугла и, чтобы все узнать, написал в поисковую строку «запрет индексации гуглом».

И что бы вы думали? В топе выдачи ничего об этом не было. Т.е. там было о запрете индексации Яндексом, а про Гугл что-то вроде «по образцу» или того лучше статьи про метатег (который скрывает лишь часть контента на странице). Ну т.е это я и так знаю, вы мне скажите Как запретить индексацию сайта гуглом через роботс, а не по «образцу». Имечко робота дайте, а?

Короче, пришлось искать дальше. В конечном счете, нашел. Достаточно было заглянуть на сам гугл. С этого и стоило начинать. Любую инфу подобного характера лучше узнавать из сайта-первоисточника, но я так привык полагаться на поиск, что стал строить ненужный велосипед и шарить по каким-то левым блогам. Короче, что это я вам свои приключения описываю. Все просто. Всего-то две строки, которые я и хотел узнать. Вот они:

Запрет индексации гуглом

User-agent: Googlebot
Disallow: /

Строки достаточно ввести в robots.txt и все: гугл при следующем обходе ваш сайт не индексирует, а остальные поисковые системы индексирует в рабочем порядке. Думаю, ясно, как это работает: сначала указываете имя поискового бота, потом его запреты. Для всех ПС, к примеру, это будет выглядеть следующим образом:

User-agent: *
Disallow: /

Другой способ — в хедер занести следующее:

<META NAME= «GOOGLEBOT» CONTENT= «NOINDEX, NOFOLLOW» >

Но тут надо еще понимать такой момент, что метатеги и команды роботс — это рекомендации боту гугла, пришедшему на сайт. Проиндексировать кой-чего (тексты урлов, к примеру) он может, перейдя по внешним ссылкам.

Что ж, надеюсь, что моя статья кому-нибудь поможет и вам не придется как мне искать нужное среди ненужного.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *