Как делается с помощью robots txt запрет индексации?
Данную задачу на самом деле решить довольно просто. Делается это при помощи команды Disallow. Давайте разберем конкретные примеры. Для того, чтобы закрыть какие-то конкретные страницы необходимо: [css] User-agent: * Disallow: /page1.html Disallow: /posts/page2.html [/css] В случае, если вам необходимо закрыть ...