Файл robots.txt, как отредактировать файл robots.txt на uCoz

Стандарт исключений для роботов (файл robots.txt) — файл ограничения доступа к содержимому роботам на http-сервере. Файл должен находиться в корне сайта (то есть иметь путь относительно имени сайта /robots.txt). При наличии нескольких поддоменов файл должен располагаться в корневом каталоге каждого из них. Данный файл дополняет стандартSitemaps, который служит прямо противоположной цели: облегчать роботам доступ к содержимому.

Простыми словами:
Файл robots.txt присутствует на каждом сайте и запрещает поисковым системам индексировать заданные страницы. Это необходимо для того, чтобы ненужные страницы не попадали в поисковые системы, и тем самым не портили полную картину Вашего сайта.

Создать сайт файл robots.txt начинающему вебмастеру сложнее, чем его редактировать, так как любая ошибка может стоить Вам отсутствием нужных страниц в поисковой системе.
На сайтах uCoz файл robots.txt появляется автоматически при создании сайта.
КАТЕГОРИЧЕСКИ запрещается редактировать этот файл в первый месяц “жизни” Вашего сайта, при условии, что Вы бесплатный пользователь.

Файл robots.txt – редактирование

Изначально, зайдя в файловый менеджер Вашего сайта, Вы не найдете там файла robots.txt. Как же нам его отредактировать?

Поможет в этом инструмент вебмастера Yandex.
1. Переходите по ссылке: http://webmaster.yandex.ua/robots.xml

В поле Имя хоста вводите ссылку на Ваш сайт, далее нажимаете “Загрузить robots.txt с сайта”.
И ниже видите все содержимое файла. Копируете его.

2. На компьютере с помощью программы Блокнот создаете текстовый файл с названием robots (в итоге получится robots.txt). Вставляете только что скопированное содержимое.

3. Вносим необходимые изменения. Это делается с помощью команды Disallow. Если Вам нужно запретить какую-то страницу с новой строки нужно написать:
Disallow: /index/3
(где вместо /index/3 нужно написать путь к Вашей страницы после корневой папки. Посмотреть его можно, например, в браузере, только нужно отбросить http://ваш_сайт.ru).
Например, чтобы запретить индексирование этой страницы нужно написать:
Disallow: /robots_txt_ucoz/

Если Вам нужно запретить доступ ко всем папке на Вашем сайте (и соответственно всем страницам внутри нее), Вам нужно написать:
Disallow: /название_папки/

И вот нюанс. На сайтах uCoz, есть страницы, которые являются и названием папки одновременно. Например, страница, которая ведет в модуль Каталог статей и показывает все статьи. Но эту страницу чаще всего никто не использует для навигации по сайту, т.е. не пользуется ею. Индексация данной страницы сбивает трафик с нужных страниц. Как запретить индексацию такой страницы?
Нужно написать:
Disallow: /publ$
так как, если просто написать Disallow: /publ/ тогда закроется доступ не только к этой странице, но и ко всем страницам папки /publ/, а это ВСЕ статьи сайта!

4. Созданный файл сохраняем со всеми изменениями.
5. Загружаем новый файл robots.txt в корень (в самую первую папку) нашего сайта.