Сегодня разберемся в одном очень важном и для многих непонятном вопросе. Чем код 404 отличается от 410 и когда правильно использовать каждый из них?
Поисковые системы при проверке страницы сначала смотрят на код ответа сервера, а уже потом приступают к проверке содержимого документа. Поэтому если страница больше не существует, она должна отдавать соответствующий код. Почему это так важно? В противном случае, как утверждают представители различных поисковых систем, страницы с кодом ответа, отличным от 404 или 410, будут сканироваться. Но, если с этим и так все понятно, то вопрос о различиях между 404 и 410 для многих остается открытым.
Коды 404 и 410 – в чем разница?
Код ответа 404 (Ресурс не найден) говорит о том, что искомый документ не существует, а код ответа 410 (Ресурс недоступен) сообщает, что затребованный ресурс был окончательно удален с сайта. То есть оба кода говорят роботу о том, что запрошенная страница недоступна.
При этом ошибка 404 говорит также о том, что ни одна страница сайта не соответствует запрошенному URL. Причин этому может быть несколько:
- пользователь неправильно ввел ссылку;
- страница по запросу была удалена.
Важно отметить, что код ответа 404 не говорит о том, была ли вообще когда-нибудь доступна такая страница и будет ли она восстановлена в будущем. Но именно код 404 применяется если предполагается, что страница все же будет восстановлена.
Код 410 определяется как «удален». Исходя из этого можно уже сделать вывод о том, что документ ранее находился по указанному URL, но впоследствии был удален и в данный момент больше недоступен. Однако в 99% случаев для удаленных документов используется код 404, и это не запрещено.
Так в чем все-таки разница и одинаково ли робот обрабатывает страницы, отдающие коды 404 и 410?
Ответы на этот вопросы мы решили получить от первоисточников — Яндекса и Google.
Что говорит поддержка Яндекса?
Вопрос 1: Существуют ли для робота отличия в интерпретации кода 404 и 410? Насколько верно, что, если удаленному документу настроить код 404 и не запрещать обход в robots.txt., то некоторое время робот будет возвращаться на такие страницы? И верно ли, что при настройке кода 410 робот быстро уберет документ из индекса?
Ответ: В настоящее время не существует специальной обработки кода 410, поэтому обрабатывается он так же, как и код 404. Его использование не приведет к более быстрому удалению страниц из индекса. Если на страницы с кодом 404, 410 или запрещенных в robots.txt не будут вести внешние ссылки, со временем они могут пропасть из базы робота. На это может потребоваться примерно несколько недель. Запрет же в robots.txt в первую очередь рекомендуется для более быстрого исключения страниц непосредственно из результатов поиска: запрещенные ссылки в таком случае могут выпасть из поиска в течение двух недель.
Вопрос 2: Насколько критична для просадки позиций документа случайная настройка на него кода 404 или 410 с последующим возвращением кода 200? Какова вероятность того, что позиции такого документа в будущем восстановятся?
Ответ: Точных данных о сроках переобхода исключенных страниц нет. Робот посещает все страницы в соответствии с политиками планирования, самостоятельно выбирая страницы к обходу. Например, если ранее страница не менялась длительное время, робот начинает посещать ее реже, и на переобход потребуется больше времени, чем обычно. Чтобы его ускорить можно использовать инструмент “Переобход страниц” в Яндекс.Вебмастере (https://webmaster.yandex.ru/site/tools/add-url/ ). С его помощью можно восстановить в поиске страницы уже через 1-2 недели. Что касается позиций страниц, то сложно сказать, в какой степени скажется на них исключение из поиска. Гарантировать сохранение позиций мы не можем ни в случае недоступности страниц, ни в каком-либо другом.
А что скажет Google?
Мэтт Каттс — глава отдела по борьбе с поисковым спамом Google, поясняет, что в обработке кодов 404 и 410 есть отличия, и робот по — разному отнесется к появлению таких ошибок. При обнаружении ошибки 404 он не станет сразу отмечать документ как удаленный, но через 24 часа придет проверить его вновь. А вот если поисковик найдет ошибку 410, то он автоматически отметит ее как удаленную и больше не будет ее проверять. То есть если вы видите, что какая-то страница отсутствует, но при этом вы уверены, что это временное явление, лучше использовать код 404. Его же следует использовать и при попытке пользователя попасть на несуществующие документы. В том же случае, когда страница пропала и вы не можете ее заменить другой, грамотнее будет применить код ответа сервера 410.
Подробная информация доступна на канале Google Webmasters по ссылке: https://youtu.be/xp5Nf8ANfOw
Что же делать? Получается, что Яндекс и Гугл по — разному обрабатывают данные ошибки? На наш взгляд, код 410 стоит использовать лишь в том случае, когда вы совершенно точно уверены, что страница удалена насовсем. Чаще всего настройка 410 ошибки требует подключения программиста, а это нерационально с точки зрения использования ресурсов, ведь результат будет тот же самый. Если же существует хоть какое-то предположение о восстановлении страницы, то стоит обращаться к коду 404. Несмотря на то, что Яндекс не заметит особых различий, для Google ошибка 410 — это как окончательный и бесповоротный приговор. Использование же кода 404 дает возможность в течение 24 часов сохранить позиции страницы в выдаче.
В следующей статье мы разберем еще один очень важный этап технического аудита и поговорим про анализ тегов. Для чего их нужно проверять, какие из них имеют приоритет перед остальными и как найти некачественные теги — обо всем этом читайте в ближайшее время!
