WordPress — Правильный robots.txt

robots.txt для WordPressСлучайно обнаружил, что у меня до сих пор нет robots.txt.

Поиск по интернетам выдал решение, которое я немного поковырял, чтобы понять для себя что там к чему. Вот мой действующий robots.txt заточенный под WordPress. Под катом немного пояснений.

User-agent: *
— эта директива указывает, что следующие правила будут применяться для всех поисковых роботов. Если же необходимо задать директивы для конкретного робота, мы его указываем, напр.: User-agent: Yandex, User-agent: Googlebot.

Allow: */uploads
— тут мы разрешаем индексировать все ссылки, в которых встретится "/uploads".

Disallow: [маска или путь]
— в таком формате указываются запрещенные для индексации пути
если это путь относительно корня сайта, то указываем как "/name" (без кавычек),
если это маска, то "*/feed" — соответственно будут запрещены все адреса, в которых будет встречено "/feed" независимо от его расположения в адресе.

Host: frontcamp.com
— насколько я понял — это инструкция роботу, которая сообщает главное зеркало ресурса. Если зеркал несколько, то они должны с помощью этой инструкции сообщить роботу-зеркальщику адрес основного.

Sitemap: http://frontcamp.com/sitemap.xml
— это ссылка на карту сайта в формате XML. У меня эта карта генерируется автоматически с помощью WordPress плагина "Google XML Sitemaps" (вот так выглядит результат работы этого плагина).

По теме:
Помощь для вебмастеров по robots.txt от Яндекса.
То же самое, но на английском от Google.

 

 

Поделитесь с друзьями:



Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>