Как известно, у каждой медали две стороны. Раз уж взялся писать про индексацию, нужно написать и про то, как от нее избавиться.  Иногда, действительно,  может понадобиться запретить ее. Обычно для индексации закрывают служебные части сайта, т.е. админскую  часть, страницы профилей пользователей, приватную информацию, другими словами, вся информация для частного пользования. Иногда можно закрыть для индексации не всю страницу, а только ее часть, например часть текста или ссылку.

Индексацию страницы сайта можно запретить с помощью специального файла robots.txt. Он содержит инструкции поисковым роботам по индексации страниц сайта. Делается он в обыкновенном блокноте. После этого файл помещается в корневую директорию сайта.

Запретить индексацию можно также с помощью мета-тега robots

При помощи этого тега можно управлять индексации конкретной страницы.  Он располагается в заголовке документа между тегами <head> и </head>

<meta name=»robots» content=»noindex, nofollow»>

Content в данном случае это:

index – разрешает индексирование данной страницы сайта;
noindex – запрещает индексировать данную страницу сайта;
follow – разрешает индексировать ссылки на данной странице;
nofollow – запрещает индексировать ссылки на данной странице;
all – включает в себя сразу index и follow (разрешает индексировать и страницу и ссылки);
none – включает noindex и nofollow (запрещает индексировать и страницу и ссылки).

Ну а самый простой способ закрыть что-нибудь от индексации состоит в использовании специальных тегов  <noindex> и </noindex>.

Таким образом, вы сможете предотвратить индексацию вашего сайта поисковыми системами. Кстати, подробнее про поисковые системы можно прочитать в статье рейтинг поисковых систем.

Тем не менее, в большинстве случаев нужно не запретить индексацию, а ускорить ее. О том, как это сделать можно прочить в статье индексация сайта в поисковых системах.