Сайт вылетел из индекса Яндекса: Ошибка 403

Сайт вылетел из индекса Яндекса: Ошибка 403
5 (100%) 3 votes

В декабре уже прошлого года мой сайт «Сетевой Путь» вылетел из индекса Яндекса – в один момент ставшие уже привычными 350-400 посещений от Яши превратились в ноль. Практически все страницы оказались исключены из индексации. Яндекс Вебмастер в качестве причины указал HTTP-статус: Доступ к ресурсу запрещён (Ошибка 403)

Обычно такой ответ (ошибка 403) бот получает или по Вашей инициативе, когда Вы намеренно ограничили доступ к этим страницам, потому что хотите что-то от поиска утаить, или по вине хостинга, но в моем случае, что характерно, трафик с других поисковых систем шел в обычном порядке и все сервисы проверки ответа сервера отдавали 200 статус – Доступ разрешен. Только Яндексу было запрещено входить на мой сайт

В переводе на человеческий это означает примерно такую картинку:

Поисковый роботенок Яша, радостно подпрыгивая, подскакивает к дверям Вашего ресурса и доброжелательно стучится: «Есть кто дома? Открывай, сова, медведь пришел! Пустите погреться, а то так замерз, что переночевать негде!» Другими словами: хочу посмотреть, все ли у Вас на своих местах лежит, как задекларировано.

А из-за двери ему: «Проваливай! Ходют тут всякие! Без вас тошно!»

Роботенок стукается несколько раз, а потом, размазывая сопли по щекам, бежит с ябедой к папе Яндексу, что мол, такие по такому адресу живут злые и непонимающие люди, что не пускают роботенка оглядеться.

На что папа Яша реагирует соответственно: кто к нам с чем зачем, тот от того и того. Другими словами – зачем посылать к Вам людей, если у Вас блог недоступен.

Как я уже писала, с конца ноября кто-то с непонятными целями зачем-то пытался взломать мне блог, и тогда я установила в качестве защиты плагин Better WP Security

В целом плагин выше всяких похвал – может очень и очень многое в смысле защиты. Но у него есть одно маленькое «НО» с далеко идущими последствиями. При настройке одним из первого, что предлагает автор плагина – добавить свою базу бот-сетей для защиты от ddos атак.

Казалось бы – отличное решение! Защититься от уже выявленных зловредов и главгадов!

Однако собака порылась именно тут. Потому как в этом списке у него и боты Яндекса тоже. Что с него взять, с буржуя нерусского? Он же не местный и не знает, что Яша хороший и что это вообще поисковик, а думает себе, что зловредный бот. Беда, прям!

И, таким образом, основному поисковому боту Яндекса на сайт доступ запрещен  наглухо – ошибка 403.

То есть, бездумно используя даже хороший плагин, я своими руками сделала так, что мой сайт вылетел из индекса Яндекса.

Что делать, чтобы вернуть исключенные страницы в индекс?

Отредактировать файл .htaccess, удалить из него директиву относительно ботов Яндекса и залить его обратно в корень блога. Имейте в виду, что если Вы сделали все досконально, как посоветовал этот плагин, то Вам и это с лету сделать не удастся, т.к. плагин меняет права доступа на некоторые файлы и .htaccess в их числе. Поэтому перед тем, как перезаписывать файл, измените права хотя бы на 644.

После сего, нужно в панели Яндекс вебмастер проверить ответ сервера на запрос именно бота Яндекса.

Ссылка находится в панели вебмастера. Кликаем на ней и в поле вводим проверяемый адрес. Выбираем Основной робот Яндекса и нажимаем Проверить

Код статуса HTTP должен быть: "200 OK"

Через пару недель индексация будет восстановлена

А что же делать, чтобы и сайт был защищен и при этом посетителей от русского поисковика не потерять из-за ошибки 403? Правильно настроить плагин Better WP Security.

Как это сделать, я расскажу в следующей статье.

Лола Пирхал

Сертифицированный коуч, бизнес-тренер, интернет-предприниматель, веб-разработчик

+38 067 7923605 KartaUspeha.ru

QR:  '.get_the_title().'

Что Вы об этом думаете?

Подарок

Оставьте Ваш первый комментарий и получите замечательный подарок!


19 комментариев

  • Весёлый Новый Год у тебя был, Лола!

    • И не говори. Зато к Рождеству основная масса статей была уже в индексе и Яша в качестве компенсации подарил мне столько трафика, что оставалось только слезы счастья утирать. До 1500 доходило только с Яндекса

      • А с чего он так расщедрился? Видно чувствовал за собой вину... 😉 Обычно с бана подольше выходят.

        А нас задосили перед НГ, но мы успели отмечать уже в полном составе)) =)

        • Статья с поздравлениями с наступающим Рождеством попала на третье место на первой странице Яндекса - отсюда и трафик.
          Это не был бан. Это было исключение из индекса по причине 403 ошибки. Т.е. не наказание, грубо говоря, а выполнение указанной директивы.

          Я написала им, когда вылетела с вопросами "за что и что делать?", и Дед Мороз Платон Щукин ответил, что как только ошибка будет исправлена, при следующем посещении робота все вернется на круги своя

  • Любовь

    Хороший урок по плагину Better WP Security,спасибо.

  • Если у вас, такой многоопытной проколы бывают, то что говорить об идущих следом? Учишься, учишься... Хорошо, что все хорошо кончается. Рада за вас. Изучаю ваш опыт, перенимаю. Желаю в Новом году много статей полезных и разных.

    • Людмила, опыт бывает только у тех, кто не боится проколов. Без проколов, собственно, и опыта не бывает. Важнее не бояться их, а учиться на них

  • Лола, я тоже установила этот плагин на сайт и попала в такую же ловушку, что и Вы. Опыт сайтостроения у меня небольшой. Считаю, повезло, что сама быстро нашла причину. А сам плагин очень мне нравится.

  • Лола, здоровское у Вас отношение к проколам и подвохам.
    И с чувством юмора порядок.
    Я набиралась опыта и знакомилась со статьями на многих блогах. Ваш стиль мне понравился именно юмором, тогда и сложности воспринимаются легче.

  • Здравствуйте. С плагинами, особенно буржуйскими, надо быть крайне осторожно. У меня на блоге стоял плагин Login LockDown, неплохое расширение для WP. Я стараюсь писать о безопасности в сети, но вирусы и взломы происходят довольно часто. Попробуйте плагин Login LockDown. Настраивается он очень просто. Необходимо указать, сколько раз можно ввести неправильный пароль и через сколько времени можно снова повторить попытку. Советую поставить не более трёх попыток и время 5-7 минут.
    Удачи!

    • Спасибо, Ильдар. Я уже пользовалась этим плагином, он малофункционален, к сожалению. Их нельзя ставить на одну доску с Better Security. Даже сравнивать нельзя. Login LockDown дает одну десятую того, что может Better Security

  • Если, кто-то реально захочет поломать Ваш блог, то и Better Security не поможет.

    • Login LockDown не поможет тем более. Если кто-то не просто реально хочет что-то взломать, а реально может что-то взломать вообще ничего не поможет

  • Артём

    Да, так сидишь себе получаешь спокойненько посетителей из яндекса, а тут бац и вылетел у меня бы паника жёсткая началась.
    Если такое случится теперь знаю к кому обратится)

  • Ольга

    Добрый день. А что делать, если галочка в опции этого плагина
    "Enable Default Banned List
    Check this box to enable HackRepair.com's blacklist feature." не убирается. Я ее удаляю, сохраняю изменения, а она снова появляется.

  • Лола, здравствуйте. Скажите пожалуйста, а после ошибки 403 позиции Вашего сайта также восстановились на прежний уровень?

    • Добрый день, Артем
      На позициях это вообще никак не отразилось. Но, думаю потому, что я быстро спохватилась и приняла какие-то меры.

  • Да ето то точно, в гугле легче оставаться на плаву.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *