Проверить robots.txt / Анализ robots.txt

Опубликовано: 11.03.2016

Очередная статья нашего сайта pod-kopirku.ru будет полезна вебмастерам и оптимизаторам, стремящимся к порядку на собственном сайте. О том, как правильно составить файл robots.txt и для чего он вообще нужен, написано немало статей и снято обучающих видеороликов, которые помогут справиться с задачей.

В нашем же случае мы предлагаем не универсальную и специальную методику по составлению robots.txt, а лишь полезный сервис Яндекса, с помощью которого можно проверить правильность данного файла. И это крайне важно!

Если файл роботс.тхт будет содержать ошибки, то окажется целиком или частично бесполезным для поисковых роботов. Ошибочный файл не сможет грамотно передать поисковому роботу нужные команды, что неизбежно отразится на рейтинге и пользовательских показателях виртуальной площадки. Таком образом, даже вполне работоспособный и полноценный сайт станет только лучше, если проверить его командный файл robots на наличие ошибок.

А значит, проверка никогда не будет лишней.

Проверить robots.txt / Анализ robots.txt: пошаговая инструкция

1. Для проверки файла обратимся к специальному сервису Яндекс.Вебмастера, который называется «Анализ robots.txt и находится по ссылке:

http://webmaster.yandex.ua/robots.xml

1391352944_proverit-robots-1.jpg

Примечание: для входа в данную область Яндекса, наверняка, потребуется авторизоваться в системе. Но если вы еще не зарегистрированы здесь, начните работу с пошаговой инструкции «Добавить сайт в Яндекс Вебмастер»

2. В данную форму необходимо ввести содержимое нашего файла robots.txt, который мы хотим проверить на ошибки. Ввести данные можно двумя способами:

— зайти на сайт по ссылке (http://ВАШ-САЙТ.РУ/robots.txt) и скопировать содержимое в пустое поле сервиса (если этого файла у вас нет, его нужно создать в корне сайта Обязательно!);

— вставить ссылку на нужный файл в поле «ИМЯ ХОСТА» и «Загрузить robots.txt с сайта» (или нажать Enter)

3. Чтобы запустить проверку — жмем «ПРОВЕРИТЬ»

1391352921_proverit-robots-2.jpg

3. После запуска проверки можно проанализировать результаты. Как видно, в случае с сайтом pod-kopirku.ru ошибок не наблюдается:

1391352932_proverit-robots-3.jpg

Однако приведем для сравнения несколько ресурсов, где такие ошибки имеются:

1391352925_proverit-robots-4.jpg

1391352961_proverit-robots-5.jpg

В целом, при внимательном составлении файла, ошибки возникать не должны, но если неточности и опечатки встречаются, их нужно исправить, обеспечив 100% выполнение всех команд файла robots.txt



1 1