Robot.txt для DLE

robot для DLEВ продолжение темы о моем любимом на данный момент движке DataLife Engine. Я представлю вашему вниманию robots.txt,  который использую в своих сайтах на этой CMS.

Вы наверняка задавались вопросом, как правильно создать этот текстовый файл? Если поискать вы также встретите многочисленное количество разнообразных версий, я попытался найти золотую середину.

Что даёт правильный в robot.txt для DLE:

  1. Хорошую индексацию поисковиками нужных вам страниц.
  2. Блокировку ненужных страниц для индексации (вы закроете доступ поисковикам для тех страниц — которые не должны появляться в поисковике)
  3. Можно создавать зеркала (для Yandex)
  4. Решает проблему дублирования контента на сайте.

Этих доводов наверняка хватает, чтобы отнестись к заполнению робота серьезно.

Вот, собственно, содержание.

Содержание Robot.txt для DLE

User-Agent: *
Disallow: /*print
Disallow: /out/
Disallow: /user/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /images/
Disallow: /forum/
Disallow: /backup/
Disallow: /files/
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Sitemap: http://rabotaip.ru/uploads/sitemap.xml
Host: rabotaip.ru

Убираем страницы без контента, не нужно чтобы поисковый робот тратил на них время.

Disallow — исключить.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *