Пессимизация сайта ВордПресс за отсутствие файла Robots.txt

Пессимизация сайта ВордПресс за отсутствие файла Robots.txt

Итак, может ли отсутствие или неправильно настроенный файл robots.txt повлечь за собой пессимизацию в выдачи поисковых систем или даже исключения из индекса сайта? Да может, я видел не один пример этому, конечно, чтобы убрать сайт из выдачи, влияет совокупность факторов, но это один из важных факторов – дублирующий контент, несуществующие ссылки или пустые документы. Это относиться ко всем сайтам, вне зависимости от движка.

 

С чем я столкнулся

Что меня с подвигло написать данную статью, сегодня в панели вебмастер Яндекса пришло сообщение:

Пессимизация сайта ВордПресс за отсутствие файла Robots.txt

   Здравствуйте, ххх!

   Число ошибок, возникших при обходе сайта ххххх.хх роботом Яндекса, увеличилось более чем на 50%. Подробности вы можете узнать на странице.

   —
   С уважением,
   Яндекс.Вебмастер

Перейдя по ссылке вижу вот такую картину:

Пессимизация сайта ВордПресс за отсутствие файла Robots.txt

И такого безобразия там аж целых 9 страниц, около 250 страниц и чувствуется, что они только растут

Пессимизация сайта ВордПресс за отсутствие файла Robots.txt

Это безобразие начало индексироваться совсем недавно. Яндекс нашел где то ссылку и пошло поехало. Полагаю, что это связано с тем что 1,5 месяца назад на сайт залили вредоносный код, Гугл выставил предупреждение на эту ссылку, это предупреждение было доступно по статичному открытому урлу, который был проиндексирован Яндексом и тут на тебе.

Так и под АГС уйти не долго, но домен старый и поисковик относиться к нему с  доверием и благо подключена к нему панель Вебмастер, благодаря которой я это и узнал. А так бы опомнился только опосля.

Пессимизация сайта ВордПресс за отсутствие файла Robots.txt

Самая главная ошибка, что документы размером 0 байт, т.е. абсолютно пустые и соответственно не несут не какой полезной информации. В глазах робота видно следующее. Что есть сайт, на котором более 50% страниц пустые, попахивает гавносайтом, я его продвижением не занимаюсь и не служу за позициями и посещаемостью, но скорее всего его уже начали пессимизировать в выдаче.

 

Что надо делать?

Пока не поздно, запретить к индексации все эти страницы. Для этого нам поможет robots.txt

Пока писал статью, полазил и увидел:

Пессимизация сайта ВордПресс за отсутствие файла Robots.txt

Мое предположение подтвердилось, возможно конечно не так про индексировалось. Одним словом тот кто залил код, хорошо набедокурил на сайте. Ссылки удалены, поэтому и нет на этих страницах контента.

Вернемся к нашей цели, удалить из индекса страницы /wp-downloads.php

Для этого заходим на хостинг через ФПТ или менеджер файлов хостера, в главной категории сайта находим или создаем robots.txt. На моем сайте роботс.тхт не было, потому как этот сайт клиентский, к моим услугам обращались по изменению дизайна и удаления вредоносного кода и так как планировали заняться оптимизацией и продвижением их сайта я подключил им панель Вебмастера на Яндексе и для скорого удаления предупреждения о вредоносном коде добавил и в панель Гугла. Но так как у клиента финансовые сложности мы так и не оптимизировали их сайт. Но сегодня сделаю первый шаг. Создал роботс.тхт и прописал там следующие строки

   User-agent: *
   Disallow: /wp-downloads.php

Первой строкой мы пишем, что это правило для всех роботов, а во второй пишем, что всем страницам с /wp-downloads.php запрет на индексацию. Хотя для Яндекса лучше создавать отдельную директиву User-agent: Yandex, чтобы быть абсолютно уверенным. Но надо понимать, если будет отдельная директива для Яндекса, то он будет игнорировать директиву “User-agent: * ”.

 

Проверка (анализ) работы robots.txt

Для этого нам нужен инструмент Яндекса, не имеет значение авторизированы ли Вы в Яндексе (вошли в аккаунт Яндекса). Идем по ссылке.

Проверка (анализ) работы robots.txt

Вбиваем имя хоста, т.е. адрес сайта, потом жмем на кнопку “Загрузить Robots.txt с сайта” и ниже видим наш роботс.

Возрождаемся в панель Вебмастера Яндекса, копируем десяток ссылок, которые мы хотим выкинуть из индекса и

Проверка (анализ) работы robots.txt

вставляем этот список ниже, жмем проверить.

Проверка (анализ) работы robots.txt

Ура, у нас получилось, все работает. Теперь необходимо ждать пока Яндекс, а может и Гугл выкинет все эти страницы из индекса.

Конечно проще удалить весь аналогичный мусор следующей директивой:

   User-agent: *
   Disallow: /*?

Это означает, что все страницы с восклицательным знаком в урле будут исключены. Сработает аналогично.

 

PS. Если бы разработчики данного сайта позаботились создать правильный ROBOTS.TXT, потратив минуту на заливку, то аналогичных проблем бы и не возникло. Благо вовремя это получилось обнаружить и устранить, а то последствия были бы плачевны и обнаружить получилось только после наложение санкций от поисковых систем, а это пессимизация в выдаче, потеря прибыли и трата уймы времени на вывод сайта из под фильтра и на прежние позиции.

Поэтому ВАЖНО обращать внимание на оптимизацию своего и клиентского сайта. И почаще заглядывать в панель Вебмастера.

Поделитесь своим мнением
Для оформления сообщений Вы можете использовать следующие тэги:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>