Как настроить robots.txt

«robots.txt» — это специальный файл, позволяющий настроить порядок индексирования вашего сайта поисковыми роботами.

Вот некоторые настройки, которые можно произвести при помощи «robots.txt»:

  • закрыть от индексирования определённые страницы сайта;
  • запретить индексацию для конкретных роботов или вовсе закрыть сайт от индексации;
  • задать время (интервал) посещения страницы вашего сайта поисковыми роботами.

Настройка robots.txt

Файл «robots.txt» необходимо размещать в каталоге сайта. Если файла не существует, просто создайте его.

Как задать временной интервал обращения поисковых роботов?

Задать временной интервал обращения можно на странице Индексирование — Скорость обхода в Яндекс.Вебмастере. Подробнее читайте на странице справки Яндекса.

Обратите внимание:

— снижать скорость обхода сайта роботом нужно только в том случае, если создается избыточная нагрузка на сервер. В других случаях менять параметр не требуется;

— снижение скорости обхода сайта роботом не влияет на поисковую выдачу в Яндексе.

Как закрыть индексацию папки, URL? 
# закрываем индексацию страницы vip.html для Googlebot:
User-agent: Googlebot
Disallow: /vip.html  

# закрываем индексацию папки private всеми роботами:
User-agent: *
Disallow: /private/   

# разрешаем доступ только к страницам, начинающимся с '/shared' для Yandexbot
User-agent: Yandex
Disallow: /    
Allow: /shared

Директива «User-agent» определяет, для какого робота будут работать правила. Можно указать названия конкретных роботов, а можно задать правило для всех роботов.

Как полностью закрыть сайт от индексации?

Для запрета индексации вашего сайта всеми поисковыми роботами добавьте в файл «robots.txt» следующие строки:

User-agent: *
Disallow: /

Примечание

Google
Yandex

Не все поисковые роботы следуют правилам в «robots.txt». Так, например, «Googlebot» следует запрещающим правилам («Disallow»), но не следует директиве «Crawl-delay». Ограничивать «Googlebot» необходимо через Инструменты для веб-мастеров Google.

Справка Google: О файлах robots.txt

Для робота «YandexBot» максимально возможное ограничение через «robots.txt» составляет 2 секунды. Чтобы указать нужную частоту, с которой робот будет индексировать ваш сайт, воспользуйтесь Яндекс.Вебмастером.

Справка Yandex: Использование robots.txt

Помогла ли вам статья?
Нет
раз уже помогла