Что такое ROBOT.TXT и для чего он нужен?

Здравствуйте, оптимизировать сайт ни каждый умеет. И на сайте SMM-Zone тоже не до конца оптимизирован. Сегодня буду описывать robot.txt для чего он нужен?

Что такое ROBOT.TXT и для чего он нужен?

 Один из главных элементов оптимизации является ROBOT.TXT. Он показывает поисковым машинам что индексировать, а что нет. Индексация – это определение информации, что предоставляет ваш сайт, в поисковые машины. Что предоставляет ваш сайт для поисковиков, это могут быть ссылки, страницы с контентом, видео, подкасты и тд.

Вся информация, что проиндексировал ваш сайт поисковая машина, хранится в специальной базе. Там может храниться хорошая и полезная информация, так и лишняя. То что robot.txt индексирует, считается полезной, но может попасть и под фильтр.

Как происходит индексация вашего сайта?

Когда поисковая машина, попадает на ваш сайт, в первую очередь она обращает внимание на robot.txt. Игнорирование этого файла, может привести ваш сайт к плохой индексации, может попасть в интернет та не нужная информация.

По правилам robot.txt должен находиться в корневой папке сайта на сервере.

Верный способ проверить ваш файл, прописать в адресной строке:

http://www.site.com/robot.txt    (где www.site.com, адрес вашего сайта)

Не желательные страницы, которые нужно закрывать от индекса:

  - Если у вас сайт стоит на CMS, то стоит скрыть страницу со входом

  - Имеющийся результат поиска по сайту

  - Страницы дубликаты

  - Страницы с логами

  - Серверные страницы с базами данных

  - И те страницы которые вы не хотите индексировать.