Купить Корзина
  • Домены и сайты
  • Облако и IT-инфраструктура
  • Вход
  • Телефон в Москве

    +7 495 580-11-11
  • Бесплатный звонок по России

    8 800 555-34-78
  • Или обратитесь в наши офисы

    Региональные номера
    1. База знаний
    2. Хостинг
    3. Продвижение сайта
    4. Как настроить robots.txt

    Как настроить robots.txt

    «robots.txt» — это специальный файл, позволяющий настроить порядок индексирования вашего сайта поисковыми роботами.

    Вот некоторые настройки, которые можно произвести при помощи «robots.txt»:

    • закрыть от индексирования определенные страницы сайта;
    • запретить индексацию для конкретных роботов или вовсе закрыть сайт от индексации;
    • задать время (интервал) посещения страницы вашего сайта поисковыми роботами.

    Настройка robots.txt

    Файл «robots.txt» необходимо размещать в каталоге сайта. Если файла не существует, просто создайте его.

    Как задать временной интервал обращения поисковых роботов?

    Задать временной интервал обращения можно на странице Индексирование — Скорость обхода в Яндекс.Вебмастере. Подробнее читайте на странице справки Яндекса.

    Обратите внимание:

    — снижать скорость обхода сайта роботом нужно только в том случае, если создается избыточная нагрузка на сервер. В других случаях менять параметр не требуется;

    — снижение скорости обхода сайта роботом не влияет на поисковую выдачу в Яндексе.

    Как закрыть индексацию папки, URL?
    # закрываем индексацию страницы vip.html для Googlebot:
    
    User-agent: Googlebot
    Disallow: /vip.html  
    
    # закрываем индексацию папки private всеми роботами:
    User-agent: *
    Disallow: /private/   
    
    # разрешаем доступ только к страницам, начинающимся с '/shared' для Yandexbot
    User-agent: Yandex
    Disallow: /    
    Allow: /shared

    Директива «User-agent» определяет, для какого робота будут работать правила. Можно указать названия конкретных роботов, а можно задать правило для всех роботов.

    Как полностью закрыть сайт от индексации?

    Для запрета индексации вашего сайта всеми поисковыми роботами добавьте в файл «robots.txt» следующие строки:

    User-agent: *
    
    Disallow: /

    Примечание

    Не все поисковые роботы следуют правилам в «robots.txt». Так, например, «Googlebot» следует запрещающим правилам («Disallow»), но не следует директиве «Crawl-delay». Ограничивать «Googlebot» необходимо через Инструменты для веб-мастеров Google.

    Справка Google: О файлах robots.txt

    Для робота «YandexBot» максимально возможное ограничение через «robots.txt» составляет 2 секунды. Чтобы указать нужную частоту, с которой робот будет индексировать ваш сайт, воспользуйтесь Яндекс.Вебмастером.

    Справка Yandex: Использование robots.txt

    Помогла ли вам статья?

    Спасибо за оценку. Рады помочь 😊

     👍
    Специальные предложения
    • Бесплатный хостинг для сайта
    • Дешевый хостинг
    • Бесплатный VPS-сервер
    • Дешёвые VPS
    Рассылка Рег.ру

    Лайфхаки, скидки и новости об IT

    Даю согласие на получение рекламных и информационных материалов

    Домены и сайты
    • Домены
    • Хостинг
    • Создание сайтов
    • SSL-сертификаты
    • VPS и VDS серверы
    • Whois
    • Магазин доменов
    Облако
    и IT-инфраструктура
    • Облачные серверы
    • Частное облако
    • Облачное хранилище
    • Kubernetes в облаке (K8S)
    • Облачные базы данных
    • Выделенные серверы
    Полезное
    • Стоимость услуг
    • Cпособы оплаты
    • База знаний
    • Документы
    • ЭДО
    • Партнерам
    • Сообщить о нарушении
    • РБК: новости России и мира сегодня
    • Новости компаний РФ
    • РБК Инвестиции: курсы валют
    Компания
    • О компании
    • Контакты
    • Офисы
    • Новости
    • Акции и скидки
    • Блог
    • Отзывы клиентов
    8 800 555-34-78 Бесплатный звонок по России
    +7 495 580-11-11 Телефон в Москве
    • vk
    • telegram
    • ok
    • moikrug
    • youtube
    • twitter
    • Облачная платформа Рег.ру включена в реестр российского ПО Запись №23682 от 29.08.2024
    • © ООО «РЕГ.РУ»
    • Политика конфиденциальности
      Политика обработки персональных данных
      Правила применения рекомендательных технологий
      Правила пользования
      и другие правила и политики
    • Нашли опечатку?
      Выделите и нажмите Ctrl+Enter
    • Мы используем cookie и рекомендательные технологии для персонализации сервисов и удобства пользователей. Вы можете запретить сохранение cookie в настройках своего браузера