Данную задачу на самом деле решить довольно просто. Делается это при помощи команды Disallow. Давайте разберем конкретные примеры. Для того, чтобы закрыть какие-то конкретные страницы необходимо:

[css]
User-agent: *
Disallow: /page1.html
Disallow: /posts/page2.html
[/css]

В случае, если вам необходимо закрыть какой-то конкретный раздел на сайте, давайте попробуем закрыть непосредственно сайт.ру/posts, и например сайт.ру/posts/page1 и 2 b т.д.html.

[css]
User-agent: *
Disallow: /posts/
[/css]

Если вы захотите заблокировать страницы или разделы, где можно встретить слово posts, то вам надо ввести:

[css]
User-agent: *
Disallow: posts
[/css]

Хотите закрыть генерирующиеся динамически страницы с адресом сайт.ру/?page=? Тогда введите:

[css]
User-agent: *
Disallow: /*?page*
[/css]

Если вам понадобится целиком запретить индексацию сайта, тогда вводите:

[css]
User-agent: *
Dissalow: /
[/css]

Если говорить в общем, то запрет индексации — одна из важнейших вещей в поисковой оптимизации. Это связано с тем, что в современном интернете большое количество страниц, которые дублируются, поэтому появляется необходимость закрывать эти дубли методами, которые я описал выше.