Robots txt — файл, в котором указываются инструкции поисковым роботам, посещающим сайт. Посещая веб-ресурс, они в первую очередь загружают robots.txt и индексируют те страницы, разделы и файлы, к которым разрешен доступ.
Настройка robots для лендинга несколько отличается от обычных сайтов. В статье разберем тонкости создания robots для посадочных страниц.
Правильная оптимизация файла
Сперва определите, для каких поисковых роботов вы хотите применять правила из файла. Например, если лендинг планируется продвигать и в Яндексе, и в Гугле, пропишите:
«User-agent: *»
Это сделает robots txt открытым для всех роботов. Если хотите оставить посадочную страницу под конкретный поисковик, вместо этого пропишите в параметре нужное наименование системы.
Например:
«User-agent: Google» — это откроет файл для Google.
Далее определите файлы и скрипты, которые хотите:
- открыть для индексации поисковыми роботами.
- закрыть от индексации.
Страницы в robots txt для лендинга не указывают. В случае с обычным сайтом это были бы страницы, но лендинг обычно подразумевает одну веб-страницу, поэтому запрет на индексацию страниц не имеет никакого смысла.
Для лендингов чаще всего разрешают индексацию изображений, но запрещают индексирование JS-кода и CSS-стилей с помощью свойства «Disallow».
Пример кода:
User-agent: *
Allow: /images/
Disallow: /js/
Disallow: /css/
В некоторых случаях запрет снимают для роботов с Google. Тогда код примет следующий вид:
User-agent: Googlebot
Allow: /
Итоги
Правильное заполнение robots.txt позволит вашему лендингу появиться в поисковой выдаче. Если же неправильно настроить файл, например, запретить индексацию всего сайта, его может быть вообще не видно в поиске.
Примерный файл robots.txt для лендинга должен выглядеть так:
User-agent: *
Allow: /images/
Disallow: /js/
Disallow: /css/
User-agent: Googlebot
Allow: /
User-agent: Yandex
Allow: /images/
Disallow: /js/
Disallow: /css/
