СЕОПЕРИСКОП

Оптимизация Продвижение Обучение

+7(925)120-3552  seo@seoperiscope.ru
Вход

Логин: Пароль:   регистрация | восстановление пароля

Главная Оптимизация Использование файла robots.txt при оптимизации сайта

Использование файла robots.txt при оптимизации сайта

Описание robots.txt
robots.txt
Специальный файл для организации доступа поисковых машин к разделам или отдельным страницам сайта. Содержит: директивы для различных поисковых машин; директивы ограничивающие доступ; директивы разрешающие доступ; дополнительные директивы, указывающие на основное зеркало, адрес файла с картой сайта. Для указания адресов страниц сайта в директивах возможно использование специальных символов.
upd:

http://seoperiscope.ru/_img/optimisation.jpg
seoperiscope.ru Москва +79251203552
Оптимизация и продвижение
Использование файла robots.txt при оптимизации сайта http://seoperiscope.ru/optimisation/robots_txt.html

Структура файла robots.txt и описание директив

Файл robots.txt содержит всего несколько директив, это:

User-agent
Должна стоять первой. Указывает на начало раздела директив для определенной поисковой машины. Таким образом, настройки robots.txt могут быть индивидуальными для каждого поискового робота. Если необходимо указать единые настройки для всех поисковиков, применяйте символ "*", например: User-agent: *
Disallow
Директива запрещающая индексирование страницы или группы страниц. Использование символа "*" в адресе запрещаемой страницы означает любой символ. Стоит помнить, что Disallow: / - означает запрет индексирования всего сайта.
Allow
Директива разрешающая индексирование страницы или группы страниц. Использование символа "*" в адресе разрешаемой страницы означает любой символ. По умолчанию все страницы сайта разрешены к индексированию, но бывают случаи, когда использование директивы Disallow запрещает Индексирование группы страниц, но у вас есть необходимость разрешить некоторые страницы к индексированию. Например: Disallow: /doc* - директива запрещает индексировать все адреса сайта, начинающиеся с "/doc"; но при этом, Allow: /document.html - разрешает индексирование конкретой страницы
Host
Указывает на основное зеркало сайта. Рекомендуется адрес сайта указывать вместе с протоколом "Http" или "Https". Например: Host: http://seoperiscope.ru
Sitemap
Указывает индексирующему роботу файл карты сайта, который необходимо использовать при индексации. Например: Sitemap: http://seoperiscope.ru/sitemap.xml

В целом, содержание файла robots.txt выглядит примерно так:

User-agent: *

Disallow: /doc*
Allow: /document.html

Host: http://seoperiscope.ru
Sitemap: http://seoperiscope.ru/sitemap.xml

По теме оптимизации сайта так же рекомендуем изучить:


Сделайте заказ

Вы можете заказать услуги SEO: оптимизацию, продвижение, обучение. Для этого заполните форму ниже и отправьте нам описание своих потребностей. Мы обязательно свяжемся с Вами!

Задайте вопрос

Если у Вас есть вопросы, спрашивайте. Мы с удовольствием на них ответим!

Отзывы на тему "Файл robots.txt"

Отзывов пока нет.

Оставьте отзыв

Ваше имя: Ваш e-mail:
Ваш телефон: Вы: