Технический аудит: контроль битых ссылок

Мы продолжаем разбирать этапы технического аудита и в статье поговорим о битых ссылках.

Что такое битые ссылки?

Битые ссылки – это такие ссылки, которые ведут на несуществующий документ по указанному адресу. Причин появления таких ссылок может быть несколько:

1. Документ был удален.
2. Документ перенесен или изменилась его структура.
3. Опечатка в адресе ссылки.

Например, вы разместили статью с обзором какого-то популярного товара из каталога своего интернет-магазина, и в статье оставили ссылку на карточку этого товара. Однако через некоторое время производитель перестает выпускать данный товар, и страницу с товаром вы удаляете. Получается, что самого товара на сайте уже нет, а вот ссылка на него остается.

Или вы оставили у себя на сайте ссылку на статью, находящуюся на стороннем ресурсе, а там ее через время удалили из-за неактуальности. В первом случае – битая ссылка будет внутренней, во втором – внешней.

Битыми ссылками можно назвать все ссылки с кодом ответа, отличным от 200 ОК. Рассмотрим наиболее популярные:

1. В категории 3хх наиболее часто встречаются коды ответа 301, 302 и 307.

   Их можно разделить на 2 типа, одни из которых указывают на то, что документ перенесен временно, а другие говорят о его постоянном перемещении.

   301 – сообщает, что запрашиваемый документ по данному адресу более недоступен и был окончательно перенесен на новый URL, после чего происходит перенаправление;

   302 – сообщает, что ресурс временно находится по-другому адресу;

   307 – говорит о том, что документ на короткое время доступен по другому адресу.

2. В категории 4хх чаще всего можно встретить ошибки 403, 404 и 410.

   403 – информирует о том, что сервер отказывается выполнять запрос, так как существуют ограничения в доступе к указанному ресурсу, установленные администратором сервера. Другими словами, клиент не имеет достаточно прав, чтобы совершать операции с запрошенным документом;

   404 – сообщает, что сервер не находит соответствующего документа по указанному адресу, т.е. его никогда и не существовало. Кроме этого, в 99% случаев SEO-специалисты используют код 404 и для удаленных документов;

   410 – говорит, что раньше документ находился по указанному адресу, но затем был удален и теперь недоступен. И в этом случае серверу неизвестно местоположение альтернативного документа, например, его копии.

3. В категории 5хх чаще всего можно встретить ошибки 502 и 503.

   Они указывают на запланированные работы, например, на техническое обслуживание сайта. Документы с кодом 5хх считаются битыми ссылками в том случае, когда в целом сайт работает и только некорректные страницы отдают код 5хх.

Почему ссылки с кодом 3хх и 4хх (5хх) нужно убирать с сайта?

Безусловно, битые ссылки не помогут в продвижении сайта. Более того, они окажут негативное влияние. Большое число таких ссылок – это один из признаков некачественного ресурса. Почему лучше не допускать их появления? На это есть несколько очень весомых причин:

1. Пользователь, переходя по ссылке, надеется найти запрашиваемый материал. Получив же в качестве ответа несуществующую страницу (с кодом 404 или 410), он теряет доверие к сайту и может воспринимать его в дальнейшем, как некачественный ресурс. Или если пользователь пришел на ваш сайт из поиска, то велика вероятность того, что он просто вернется в выдачу, а это портит ПФ.
2. Битые ссылки тратят краулинговый бюджет. В результате робот посещает гораздо меньше действительно полезных страниц.
3. Потеря внутреннего статического веса. Каждая страница сайта обладает условной величиной - весом, который характеризует ее значимость и авторитетность. При правильной внутренней перелинковке вес страниц постоянно перераспределяется друг между другом. Если же вес утекает на битую ссылку, то она не передает его дальше и он никуда впоследствии не идет. И даже если вы запретите индексировать битую ссылку, статический вес не будет переходить на другие страницы, как это было ранее. Такая проблема особенно актуально в случае, когда битых ссылок на сайте очень много.

Проверять сайт на наличие битых ссылок нужно регулярно и тем чаще, чем чаще обновляется контент и внедряются технические доработки.

Какие страницы восстанавливаем на сайте? Как найти такие страницы?

Удаление битых ссылок не всегда является верным решением. Если страница перестала работать из-за ошибки, то удалять подобную страницу не требуется. В целом перед удалением ссылки рекомендуется выполнить ряд проверок:

1. Проверьте правильность ее написания. Если есть ошибки – исправьте их. Такие проблемы нередко встречаются на сайтах, в которых ссылки прописываются вручную.
2. Еще раз перепроверьте, работает ли страница, на которую ведет ссылка. Она может быть просто не опубликована или закрыта от пользователей.
3. Если на битую страницу идет трафик, то целесообразнее ее не удалять, а рекомендуется восстановить или настроить 301-редирект на максимально похожую страницу. При удалении страниц с трафиком, поисковые системы убирают адрес документа из поисковой выдачи. Это может привести к значительной потере трафика.

Определить, какие ссылки можно убирать, а с какими еще возможно поработать, можно, просмотрев историю трафика в Я.Метрике или Google Аналитике. Если на битую страницу все есть переходы, то лучше исправить ошибку.

Где можно найти битые ссылки

На самом деле, существует несколько способов для поиска битых ссылок на сайте.

Одним из самых эффективных является поиск таких ссылок посредством использования краулеров (пауков), т.к. они помогают найти все битые ссылки, существующие в рамках сайта. Сегодня мы используем для этого программу Screaming Frog SEO Spider, но в дальнейшем перейдем на собственный паук.

Найти битые ссылки в Screaming Frog SEO Spider можно следующим образом:

После запуска программы следует выбрать режим «Spider» (когда вы хотите найти битые ссылки по всему сайту), вводим URL сайта и жмем на Старт.

После ожидаем полного сканирования сайта и во вкладке “Internal” сортируем столбец “Status code” по убыванию:

Важно учитывать, что тут будут выводиться только внутренние ссылки. Внешние ссылки можно увидеть во вкладке “External”.

Второй вариант:

Перейти на вкладку «Response Code» и выбрать, какие именно ошибки нас интересуют: 3хх, 4хх, 5хх. Например, ошибки кода 3хх:

В отличие от первого варианта, в данной вкладке мы видим все ошибки (внутренние и внешние) с кодом ответа 3хх.

Если Screaming Frog нашел на вашем сайте битые ссылки, смотрим, где именно они расположены. Для этого нужно выбрать одну из некорректных ссылок и перейти во вкладку «Inlinks». В нижнем окне программы появится список всех страниц, на которых была найдена эта ссылка.

Как наличие битых ссылок влияет на краулинговый бюджет?

Краулинговый бюджет – это число страниц определенного сайта, выделенные поисковыми системами для обхода за некоторый промежуток времени. Обычно он считается за сутки. Например, если робот Google может обойти за день 20 страниц, то его бюджет за месяц составит 600 страниц. Говоря простым языком, это лимит страниц, которые краулер просканирует на вашем сайте за один день.

Битые ссылки просто тратят бюджет на определение их недействительности. Но стоит сказать, что для ощутимого влияния таких ссылок должно быть очень и очень много.

Битые ссылки для пользователя. Как минимизировать проблемы.

Битые ссылки очень негативно сказываются на поведенческих факторах, снижая доверие к сайту. Можно потерять часть клиентской базы, получить проблемы с привлечением новых клиентов, нанести ущерб своей репутации. Однако грамотно оформленная с точки зрения содержания страница 404 или 410 способна удержать посетителей на сайте, снизить процент отказов и даже повысить конверсию трафика в продажи. Просто стоит объяснить посетителю, что произошло, указать причины, по которым он попал именно на эту страницу и подсказать, что делать дальше.

Подробнее о том, как не потерять клиентов из-за битых ссылок поговорим в одной из следующих статей.

Когда ошибки 503 не страшны?

Когда сервер отдает код ответа 503, это значит, что сервер недоступен из-за временной перегрузки или отключения на техническое обслуживание, т.е. он временно не может обрабатывать запросы по техническим причинам. Иногда сервер в рамках пресечения атаки отдает код 5хх для всех страниц сайта, и такая ситуация уже не имеет отношения к битым ссылкам.

Ошибка 503 не страшна в случае, когда администратор знает о ней и в заголовке указано время, через которое клиенту стоит повторить запрос.

Однако если сервер отдает код 503 в течение длительного времени, это может говорить о проблемах. Кроме того, если при сканировании сайта пауком, вы получаете код ответа 503, то необходимо еще раз проверить страницу вручную. Сделать это можно через наш сервис: http://tools.discript.ru/http-code/

Если после проверки страница отдаст код, отличный от 503, то это явный повод задуматься о качестве сервера, на котором расположен сайт. Скорее всего он имеет малую пропускную способность и не справляется даже с небольшими нагрузками.

Если же при проверке через http://tools.discript.ru/http-code/ страница отдаст код 503 (а вы его не устанавливали), то следует проверить правильность настройки сервера для данной страницы.

Что делать после обнаружения битых ссылок?

После того, как все битые ссылки обнаружены, их следует удалить со страниц доноров. После этого поисковые системы сами проиндексирую донора и удалят из учета статического веса битые ссылки.

Можно это сделать вручную в панели Вебмастера или при помощи специальных плагинов. Однако при удалении вручную стоит помнить о лимитах на такие действия.

Также есть возможность немного ускорить индексацию.

1. В Яндексе это можно сделать через «Переобход страниц»: ссылка на раздел https://webmaster.yandex.ru/site/indexing/reindex/.
2. В поисковой системе Google необходимо запросить повторное сканирование. Подробнее в Справочном центре Google : https://support.google.com/webmasters/answer/9012289#request_indexing

Несмотря на то, что битые ссылки появляются практически на всех сайтах, они являются однозначным сигналом для пересмотра рабочего отношения к проекту. Если вы заботитесь о поддержании его высокого качества, стоит регулярно проверять сайт, исправлять возникающие на нем ошибки и устранять не только причины, но и следствия их появления.

Тем не менее, битые ссылки - это лишь вершина айсберга под названием технический аудит. Это отдельный этап среди множества других, не менее важных. В следующей статье мы поговорим о страницах - дублях и их влиянии на ранжирование. Выявить все дубли необходимо в самом начале работы, иначе можно взяться просто не за те страницы и долго искать проблемы. Чем одинаковые (или почти одинаковые) страницы опасны для продвижения, какими они бывают, как найти и убрать дубли - читайте в нашей следующей статье!