Сейчас я расскажу вам,как правильно составить Robots.txt для сайтов на
uCoz,ведь наличие на сайте Robots.txt - это верный путь к раскрутке
сайта,ведь если его нету,то есть вероятность попасть под фильтры
поисковых систем. Рассмотрим теги,которые входят в состав Robots.txt :
Disallow: это дистрибутив,который запрещает индексацию определенных страниц. Allow: это дистрибутив,который разрешает индексацию определенных страниц. User-agent : Этот тег дает информацию о боте для которого стоят настройки.
Исходя из этого,сразу появляется мысль,а как же создать сам Robots.txt и чтобы он был правильный,вот ответ :
Нельзя просто создать Robots.txt и вставить в него дистрибутивы,уж так
построена система,рассмотрим на примере,например,каталог статей.
Запрещаем к индексации :
Disallow: /publ/
Разрешаем индексацию :
Allow: /publ/
Также,можно вписать не только адреса модулей,можно так же вписать определенные страницы сайта или модулей.
Важный момент,дистрибутив Allow должен стоять выше своего оппонента Disallow.
Тег User-agent ставится в самом верху,теперь посмотрим,как его
настроить.Если вы хотите,что бы информация была открыта только для бота
Яндекса,то ставим его так :
User-agent: Yandex
А если мы хотим,чтобы информация была открыта для просмотра всем роботам,то ставим тег так :
В начале создания сайта,у вас автоматически ставится дистрибутив
Disallow и обойти его не традиционным методом нельзя,а традиционным
можно убрать оплатив базовый пакет,который стоит не более 100 рублей,а
после написать в Тех поддержку uCoz с просьбой снять с карантина.
Спасибо за внимание.Если у вас есть вопросы или вам помогла моя статья,то прошу оставлять комментарии.
Модель смешна, но я её не стал бы ставить 
