Правила написания robots.txt — управляем индексацией сайта
Сейчас почти на каждом сайте рунета есть страницы, которые нужно скрыть от индексации. Такими страницами могут быть дублирующий контент или же технические страницы. Индексация – занесение в базу данных страниц сайта специальным роботом конкретной поисковой системы. Даже если защищать от ...