Теги: индексация
Robots txt - запрет индексации на примерах

Как делается с помощью robots txt запрет индексации?

Данную задачу на самом деле решить довольно просто. Делается это при помощи команды Disallow. Давайте разберем конкретные примеры. Для того, чтобы закрыть какие-то конкретные страницы необходимо: В случае, если вам необходимо закрыть какой-то конкретный раздел на сайте, давайте попробуем закрыть ...
Как узнать как проиндексирован сайт и проверить количество проиндексированных страниц?

Как узнать как проиндексирован сайт поисковыми системами?

Успешность нового сайта – это правильная оптимизация, проведенная на начальных этапах проектирования веб страниц. Важный момент в продвижении проекта – веб индексирование. Это добавление сведений о сайте в специальную базу данных, которая используется для поиска информации. После проведения процедуры регистрации ...
Правила написания robots.txt с примерами

Правила написания robots.txt — управляем индексацией сайта

Сейчас почти на каждом сайте рунета есть страницы, которые нужно скрыть от индексации. Такими страницами могут быть дублирующий контент или же технические страницы. Индексация – занесение в базу данных страниц сайта специальным роботом конкретной поисковой системы. Даже если защищать от ...