Очередная статья нашего сайта pod-kopirku.ru будет полезна вебмастерам и оптимизаторам, стремящимся к порядку на собственном сайте. О том, как правильно составить файл robots.txt и для чего он вообще нужен, написано немало статей и снято обучающих видеороликов, которые помогут справиться с задачей.
В нашем же случае мы предлагаем не универсальную и специальную методику по составлению robots.txt, а лишь полезный сервис Яндекса, с помощью которого можно проверить правильность данного файла. И это крайне важно!
Если файл роботс.тхт будет содержать ошибки, то окажется целиком или частично бесполезным для поисковых роботов. Ошибочный файл не сможет грамотно передать поисковому роботу нужные команды, что неизбежно отразится на рейтинге и пользовательских показателях виртуальной площадки. Таком образом, даже вполне работоспособный и полноценный сайт станет только лучше, если проверить его командный файл robots на наличие ошибок.
А значит, проверка никогда не будет лишней.
Проверить robots.txt / Анализ robots.txt: пошаговая инструкция
1. Для проверки файла обратимся к специальному сервису Яндекс.Вебмастера, который называется «Анализ robots.txt и находится по ссылке:
http://webmaster.yandex.ua/robots.xml
Примечание: для входа в данную область Яндекса, наверняка, потребуется авторизоваться в системе. Но если вы еще не зарегистрированы здесь, начните работу с пошаговой инструкции «Добавить сайт в Яндекс Вебмастер»
2. В данную форму необходимо ввести содержимое нашего файла robots.txt, который мы хотим проверить на ошибки. Ввести данные можно двумя способами:
— зайти на сайт по ссылке (http://ВАШ-САЙТ.РУ/robots.txt) и скопировать содержимое в пустое поле сервиса (если этого файла у вас нет, его нужно создать в корне сайта Обязательно!);
— вставить ссылку на нужный файл в поле «ИМЯ ХОСТА» и «Загрузить robots.txt с сайта» (или нажать Enter)
3. Чтобы запустить проверку — жмем «ПРОВЕРИТЬ»
3. После запуска проверки можно проанализировать результаты. Как видно, в случае с сайтом pod-kopirku.ru ошибок не наблюдается:
Однако приведем для сравнения несколько ресурсов, где такие ошибки имеются:
В целом, при внимательном составлении файла, ошибки возникать не должны, но если неточности и опечатки встречаются, их нужно исправить, обеспечив 100% выполнение всех команд файла robots.txt
