Теги: robots.txt
Как сделать файл robots.txt для ucoz?

Подскажите, как сделать файл robots.txt для ucoz?

Перед некоторыми пользователями встает вопрос, как создать файл robots.txt на сайте uCoz? Этот текстовый файл на юкозе делается абсолютно по тому же принципу, как и на других хостингах. Для того чтобы сделать  данный файл необходимо произвести следующие несложные действия: Необходимо ...
Правила написания robots.txt с примерами

Правила написания robots.txt — управляем индексацией сайта

Сейчас почти на каждом сайте рунета есть страницы, которые нужно скрыть от индексации. Такими страницами могут быть дублирующий контент или же технические страницы. Индексация – занесение в базу данных страниц сайта специальным роботом конкретной поисковой системы. Даже если защищать от ...