Как создать robots.txt  

Robots.txt является обычным текстовым файлом. Этот файл находится в корневой директории сайта и представляет собой инструкцию для поисковых роботов. Содержимое файла состоит из отдельных директив-инструкций, которые позволяют обратиться к конкретному поисковику, запретить или разрешить индексацию категорий, страниц, указать зеркало сайта, задать интервал времени для обращения к серверу и т.д.

Создание файла-инструкции robots.txt

Для создания robots.txt используем любой редактор текстов, например, блокнот. Созданный файл сохраняем под названием robots.txt.

Вслед за этим приступаем к написанию инструкции с использованием директив.

Формат написания директивы:

 <директива>:<пробел><значение><пробел>

Рассмотрим основные директивы

< User agent> – эта директива позволяет обращаться к конкретному поисковику. При создании инструкции для Яндекса, директива примет следующий вид: User-agent: Yandex.

<Disallow> или <Allow> – запрещает или разрешает индексирование страниц. Для запрета индексирование страницы используется директива Disallow, для разрешения индексирование страницы используется директива Allow.

<Sitemap> – указывает поисковику, где у вас находится файл sitemap.xml. Этот файл упрощает процесс индексации сайта поисковыми роботами. Вид директивы – Sitemap: http://site.com/sitemap.xml.

<Host> – указывает зеркало сайта, http host. Если не указать зеркало сайта, поисковой робот будет думать, что www.сайт.ru и сайт.ru это два различных сайта, что отрицательно скажется на продвижении сайта в поисковых системах.

<Crawl-Delay> – указывает интервал времени для обращения к вашему серверу. Применяется при перегруженном сервере.

Следует напомнить, что для каждой CMS необходим свой robots.txt. Кроме того, для каждого отдельного сайта он может быть уникальным. Ведь у вас могут быть установлены дополнительные модули, компоненты и плагины.