© Discript 2018 - 2022

Как настроить robots.txt для лендинга

Robots txt — файл, в котором указываются инструкции поисковым роботам, посещающим сайт. Посещая веб-ресурс, они в первую очередь загружают robots.txt и индексируют те страницы, разделы и файлы, к которым разрешен доступ.

Настройка robots для лендинга несколько отличается от обычных сайтов. В статье разберем тонкости создания robots для посадочных страниц.

Правильная оптимизация файла

Сперва определите, для каких поисковых роботов вы хотите применять правила из файла. Например, если лендинг планируется продвигать и в Яндексе, и в Гугле, пропишите:

«User-agent: *»

Это сделает robots txt открытым для всех роботов. Если хотите оставить посадочную страницу под конкретный поисковик, вместо этого пропишите в параметре нужное наименование системы.


Например:

«User-agent: Google» — это откроет файл для Google.

Далее определите файлы и скрипты, которые хотите:

  • открыть для индексации поисковыми роботами.
  • закрыть от индексации.
Открытие robots.txt для всех роботов и Google
Открытие robots.txt для всех роботов и Google

Страницы в robots txt для лендинга не указывают. В случае с обычным сайтом это были бы страницы, но лендинг обычно подразумевает одну веб-страницу, поэтому запрет на индексацию страниц не имеет никакого смысла.

Для лендингов чаще всего разрешают индексацию изображений, но запрещают индексирование JS-кода и CSS-стилей с помощью свойства «Disallow».


Пример кода:

User-agent: *

Allow: /images/

Disallow: /js/

Disallow: /css/


В некоторых случаях запрет снимают для роботов с Google. Тогда код примет следующий вид:

User-agent: Googlebot

Allow: /

Пример файла robots.txt для лендинга
Пример файла robots.txt для лендинга

Итоги

Правильное заполнение robots.txt позволит вашему лендингу появиться в поисковой выдаче. Если же неправильно настроить файл, например, запретить индексацию всего сайта, его может быть вообще не видно в поиске.

Примерный файл robots.txt для лендинга должен выглядеть так:

User-agent: *
Allow: /images/
Disallow: /js/
Disallow: /css/


User-agent: Googlebot
Allow: /


User-agent: Yandex
Allow: /images/
Disallow: /js/
Disallow: /css/

Другие статьи

Отправьте заявку и уже завтра мы начнем работы.

Обязательное поле для заполнения

Обязательное поле для заполнения

Обязательное поле для заполнения

Обязательное поле

Обязательное поле для заполнения

Обязательное поле для заполнения

Обязательное поле

Спасибо за обращение!
В ближайшее время мы с вами свяжемся.

Далее

Обязательное поле для заполнения

Обязательное поле для заполнения

Укажите предпочтительные каналы связи:

ТелефонWhatsAppTelegram

Обязательное поле