Данную задачу на самом деле решить довольно просто. Делается это при помощи команды Disallow. Давайте разберем конкретные примеры. Для того, чтобы закрыть какие-то конкретные страницы необходимо:

User-agent: *
Disallow: /page1.html
Disallow: /posts/page2.html

В случае, если вам необходимо закрыть какой-то конкретный раздел на сайте, давайте попробуем закрыть непосредственно сайт.ру/posts, и например сайт.ру/posts/page1 и 2 b т.д.html.

User-agent: *
Disallow: /posts/

Если вы захотите заблокировать страницы или разделы, где можно встретить слово posts, то вам надо ввести:

User-agent: *
Disallow: posts

Хотите закрыть генерирующиеся динамически страницы с адресом сайт.ру/?page=? Тогда введите:

User-agent: *
Disallow: /*?page*

Если вам понадобится целиком запретить индексацию сайта, тогда вводите:

User-agent: *
Dissalow: /

Если говорить в общем, то запрет индексации — одна из важнейших вещей в поисковой оптимизации. Это связано с тем, что в современном интернете большое количество страниц, которые дублируются, поэтому появляется необходимость закрывать эти дубли методами, которые я описал выше.