Досадный прокол в robots.txt

Уже давно пришла пора переделать robots.txt. Чем я и занялся вчера на досуге. Привел его в порядок и со спокойной душой ушел спать. Сегодня в Google Webmaster Tools наблюдаю такую картину маслом (кликабельно):

Ошибка в robots.txt

Из-за того, что не отработала строка с User-agent, все последующие за ней команды просто вылетели в трубу. По большому счету, ничего фатального — не сработал запрет на индексацию всякого хлама, как это и было раньше, но ситуацию надо исправлять. На первый взгляд всё правильно, никаких видимых причин для такого фейла нет, с синтаксисом порядок. Решил капнуть глубже. Находка под катом.


Открыл robots.txt в HEX-редакторе и вот что увидел (куда смотреть — выделил желтым, кликабельно):

Решение проблемы с robots.txt

Виновником чехорды оказался текстовый редактор фара (Far Manager), который сохраняет файл в кодировке UTF-8, втихаря добавляя BOM-сигнатуру (Byte Order Mark):

robots.txt не был распознан из-за UTF-сигнатуры (BOM)

Hint: Чтобы Far сохранил UTF-8 без BOM-сигнатуры, надо вместо F2 нажать — Shift+F2, тогда появится диалоговое окно, как на скрине выше, где можно отключить данную опцию.

Исправил, перекрестился, жду новой индексации...

Поделитесь с друзьями:



Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>