Как настроить robots.txt

    «robots.txt» — это специальный файл, позволяющий настроить порядок индексирования вашего сайта поисковыми роботами.

    Вот некоторые настройки, которые можно произвести при помощи «robots.txt»:

    • закрыть от индексирования определенные страницы сайта;
    • запретить индексацию для конкретных роботов или вовсе закрыть сайт от индексации;
    • задать время (интервал) посещения страницы вашего сайта поисковыми роботами.

    Настройка robots.txt

    Файл «robots.txt» необходимо размещать в каталоге сайта. Если файла не существует, просто создайте его.

    Как задать временной интервал обращения поисковых роботов?

    Задать временной интервал обращения можно на странице Индексирование — Скорость обхода в Яндекс.Вебмастере. Подробнее читайте на странице справки Яндекса.

    Обратите внимание:

    — снижать скорость обхода сайта роботом нужно только в том случае, если создается избыточная нагрузка на сервер. В других случаях менять параметр не требуется;

    — снижение скорости обхода сайта роботом не влияет на поисковую выдачу в Яндексе.

    Как закрыть индексацию папки, URL?
     
    # закрываем индексацию страницы vip.html для Googlebot:

User-agent: Googlebot
Disallow: /vip.html  

# закрываем индексацию папки private всеми роботами:
User-agent: *
Disallow: /private/   

# разрешаем доступ только к страницам, начинающимся с '/shared' для Yandexbot
User-agent: Yandex
Disallow: /    
Allow: /shared

    Директива «User-agent» определяет, для какого робота будут работать правила. Можно указать названия конкретных роботов, а можно задать правило для всех роботов.

    Как полностью закрыть сайт от индексации?

    Для запрета индексации вашего сайта всеми поисковыми роботами добавьте в файл «robots.txt» следующие строки:

    User-agent: *

Disallow: /

    Примечание

    Не все поисковые роботы следуют правилам в «robots.txt». Так, например, «Googlebot» следует запрещающим правилам («Disallow»), но не следует директиве «Crawl-delay». Ограничивать «Googlebot» необходимо через Инструменты для веб-мастеров Google.

    Справка Google: О файлах robots.txt

    Для робота «YandexBot» максимально возможное ограничение через «robots.txt» составляет 2 секунды. Чтобы указать нужную частоту, с которой робот будет индексировать ваш сайт, воспользуйтесь Яндекс.Вебмастером.

    Справка Yandex: Использование robots.txt

    Помогла ли вам статья?

    Спасибо за оценку. Рады помочь 😊

     👍
    Специальные предложения