В декабре уже прошлого года мой сайт «Сетевой Путь» вылетел из индекса Яндекса – в один момент ставшие уже привычными 350-400 посещений от Яши превратились в ноль. Практически все страницы оказались исключены из индексации. Яндекс Вебмастер в качестве причины указал HTTP-статус: Доступ к ресурсу запрещён (Ошибка 403)
Обычно такой ответ (ошибка 403) бот получает или по Вашей инициативе, когда Вы намеренно ограничили доступ к этим страницам, потому что хотите что-то от поиска утаить, или по вине хостинга, но в моем случае, что характерно, трафик с других поисковых систем шел в обычном порядке и все сервисы проверки ответа сервера отдавали 200 статус – Доступ разрешен. Только Яндексу было запрещено входить на мой сайт
В переводе на человеческий это означает примерно такую картинку:
Поисковый роботенок Яша, радостно подпрыгивая, подскакивает к дверям Вашего ресурса и доброжелательно стучится: «Есть кто дома? Открывай, сова, медведь пришел! Пустите погреться, а то так замерз, что переночевать негде!» Другими словами: хочу посмотреть, все ли у Вас на своих местах лежит, как задекларировано.
А из-за двери ему: «Проваливай! Ходют тут всякие! Без вас тошно!»
Роботенок стукается несколько раз, а потом, размазывая сопли по щекам, бежит с ябедой к папе Яндексу, что мол, такие по такому адресу живут злые и непонимающие люди, что не пускают роботенка оглядеться.
На что папа Яша реагирует соответственно: кто к нам с чем зачем, тот от того и того. Другими словами – зачем посылать к Вам людей, если у Вас блог недоступен.
Как я уже писала, с конца ноября кто-то с непонятными целями зачем-то пытался взломать мне блог, и тогда я установила в качестве защиты плагин Better WP Security
В целом плагин выше всяких похвал – может очень и очень многое в смысле защиты. Но у него есть одно маленькое «НО» с далеко идущими последствиями. При настройке одним из первого, что предлагает автор плагина – добавить свою базу бот-сетей для защиты от ddos атак.
Казалось бы – отличное решение! Защититься от уже выявленных зловредов и главгадов!
Однако собака порылась именно тут. Потому как в этом списке у него и боты Яндекса тоже. Что с него взять, с буржуя нерусского? Он же не местный и не знает, что Яша хороший и что это вообще поисковик, а думает себе, что зловредный бот. Беда, прям!
И, таким образом, основному поисковому боту Яндекса на сайт доступ запрещен наглухо – ошибка 403.
То есть, бездумно используя даже хороший плагин, я своими руками сделала так, что мой сайт вылетел из индекса Яндекса.
Что делать, чтобы вернуть исключенные страницы в индекс?
Отредактировать файл .htaccess, удалить из него директиву относительно ботов Яндекса и залить его обратно в корень блога. Имейте в виду, что если Вы сделали все досконально, как посоветовал этот плагин, то Вам и это с лету сделать не удастся, т.к. плагин меняет права доступа на некоторые файлы и .htaccess в их числе. Поэтому перед тем, как перезаписывать файл, измените права хотя бы на 644.
После сего, нужно в панели Яндекс вебмастер проверить ответ сервера на запрос именно бота Яндекса.
Ссылка находится в панели вебмастера. Кликаем на ней и в поле вводим проверяемый адрес. Выбираем Основной робот Яндекса и нажимаем Проверить
Код статуса HTTP должен быть: "200 OK"
Через пару недель индексация будет восстановлена
А что же делать, чтобы и сайт был защищен и при этом посетителей от русского поисковика не потерять из-за ошибки 403? Правильно настроить плагин Better WP Security.
Как это сделать, я расскажу в следующей статье.
Весёлый Новый Год у тебя был, Лола!
И не говори. Зато к Рождеству основная масса статей была уже в индексе и Яша в качестве компенсации подарил мне столько трафика, что оставалось только слезы счастья утирать. До 1500 доходило только с Яндекса
А с чего он так расщедрился? Видно чувствовал за собой вину... 😉 Обычно с бана подольше выходят.
А нас задосили перед НГ, но мы успели отмечать уже в полном составе)) =)
Статья с поздравлениями с наступающим Рождеством попала на третье место на первой странице Яндекса - отсюда и трафик.
Это не был бан. Это было исключение из индекса по причине 403 ошибки. Т.е. не наказание, грубо говоря, а выполнение указанной директивы.
Я написала им, когда вылетела с вопросами "за что и что делать?", и
Дед МорозПлатон Щукин ответил, что как только ошибка будет исправлена, при следующем посещении робота все вернется на круги свояХороший урок по плагину Better WP Security,спасибо.
Если у вас, такой многоопытной проколы бывают, то что говорить об идущих следом? Учишься, учишься... Хорошо, что все хорошо кончается. Рада за вас. Изучаю ваш опыт, перенимаю. Желаю в Новом году много статей полезных и разных.
Людмила, опыт бывает только у тех, кто не боится проколов. Без проколов, собственно, и опыта не бывает. Важнее не бояться их, а учиться на них
Лола, я тоже установила этот плагин на сайт и попала в такую же ловушку, что и Вы. Опыт сайтостроения у меня небольшой. Считаю, повезло, что сама быстро нашла причину. А сам плагин очень мне нравится.
Отлично, Татьяна. Здорово, что Вы не растерялись и быстро сориентировались
Лола, здоровское у Вас отношение к проколам и подвохам.
И с чувством юмора порядок.
Я набиралась опыта и знакомилась со статьями на многих блогах. Ваш стиль мне понравился именно юмором, тогда и сложности воспринимаются легче.
Здравствуйте. С плагинами, особенно буржуйскими, надо быть крайне осторожно. У меня на блоге стоял плагин Login LockDown, неплохое расширение для WP. Я стараюсь писать о безопасности в сети, но вирусы и взломы происходят довольно часто. Попробуйте плагин Login LockDown. Настраивается он очень просто. Необходимо указать, сколько раз можно ввести неправильный пароль и через сколько времени можно снова повторить попытку. Советую поставить не более трёх попыток и время 5-7 минут.
Удачи!
Спасибо, Ильдар. Я уже пользовалась этим плагином, он малофункционален, к сожалению. Их нельзя ставить на одну доску с Better Security. Даже сравнивать нельзя. Login LockDown дает одну десятую того, что может Better Security
Если, кто-то реально захочет поломать Ваш блог, то и Better Security не поможет.
Login LockDown не поможет тем более. Если кто-то не просто реально хочет что-то взломать, а реально может что-то взломать вообще ничего не поможет
Да, так сидишь себе получаешь спокойненько посетителей из яндекса, а тут бац и вылетел у меня бы паника жёсткая началась.
Если такое случится теперь знаю к кому обратится)
Добрый день. А что делать, если галочка в опции этого плагина
"Enable Default Banned List
Check this box to enable HackRepair.com's blacklist feature." не убирается. Я ее удаляю, сохраняю изменения, а она снова появляется.
Лола, здравствуйте. Скажите пожалуйста, а после ошибки 403 позиции Вашего сайта также восстановились на прежний уровень?
Добрый день, Артем
На позициях это вообще никак не отразилось. Но, думаю потому, что я быстро спохватилась и приняла какие-то меры.
Да ето то точно, в гугле легче оставаться на плаву.