В продолжение темы о моем любимом на данный момент движке DataLife Engine. Я представлю вашему вниманию robots.txt, который использую в своих сайтах на этой CMS.
Вы наверняка задавались вопросом, как правильно создать этот текстовый файл? Если поискать вы также встретите многочисленное количество разнообразных версий, я попытался найти золотую середину.
Что даёт правильный в robot.txt для DLE:
- Хорошую индексацию поисковиками нужных вам страниц.
- Блокировку ненужных страниц для индексации (вы закроете доступ поисковикам для тех страниц — которые не должны появляться в поисковике)
- Можно создавать зеркала (для Yandex)
- Решает проблему дублирования контента на сайте.
Этих доводов наверняка хватает, чтобы отнестись к заполнению робота серьезно.
Вот, собственно, содержание.
Содержание Robot.txt для DLE
User-Agent: *
Disallow: /*print
Disallow: /out/
Disallow: /user/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /images/
Disallow: /forum/
Disallow: /backup/
Disallow: /files/
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Sitemap: https://rabotaip.ru/uploads/sitemap.xml
Host: rabotaip.ru
Убираем страницы без контента, не нужно чтобы поисковый робот тратил на них время.
Disallow — исключить.
