Купить Корзина
Логотип REG.RU
Регистрация      Вход
  • Все услуги
    •  
    • Домены
      • Регистрация Зарегистрировать домен Перенос доменов в REG.RU Освобождающиеся домены Регистрация доменов списком Премиум-домены Освобождённые домены Новые доменные зоны REG.RU Энциклопедия доменных зон Географические домены Подбор по ключевому слову
      • Купить-продать Магазин доменов Доменный брокер Гарант сделки Доменный брокер для владельца Экспертная оценка домена
        Специальное Условия и цены для Партнёров Юридическое сопровождение Нотариальное заверение
        сайтаnew
        Защита домена
      • Операции Продление регистрации Смена администратора Изменение данных Перенос доменов между аккаунтами Смена регистратора Договоры и письма Онлайн-операции с доменами
      • Мои домены
    • Конструктор и CMS
      • Конструкторы сайтов Конструктор сайтов REG.RU REG.Site
        Лицензии Купить Лицензию 1С-Битрикс Продлить Лицензию 1С-Битрикс
      • Сайты на CMS 1С-Битрикс Wordpress
      • Услуги Переадресация домена Парковочная страница
      • Мои услуги
    • Хостинг
      • Популярное Хостинг сайтов Конструктор сайтов REG.RU Бесплатная почта VIP-тарифы хостинга
      • Спецрешения Хостинг с cPanel Хостинг с Plesk Хостинг для 1C-Битрикс Хостинг для ASP.NET Хостинг для WordPress Хостинг для OpenCart Сервер для бизнесаnew
      • Операции Продление Изменение владельца Договоры и письма Бесплатный перенос
      • Мои услуги
    • VPS
      • Обзор VPS
        Облачные VPS Облачные серверы Высокочастотные VPSnew Приложения ISPmanager BitrixVM LEMP Docker Снэпшоты
      • Классические VPS VPS на Linux VPS на Windows
        Спецрешения Сервер для бизнеса Jelastic PaaS Виртуальный дата-центр VMware Серверы для 1С
      • Операции Продление Изменение владельца Перенос услуг внутри REG.RU Договоры и письма
      • Мои услуги
    • Серверы и ДЦ
      • Аренда сервера Dedicated-серверы (Выделенные) Конфигуратор серверов Серверы под заказ Дешёвые серверы
        Услуги Администрирование сервера Мониторинг серверов Бэкап сервера Все услуги
      • Размещение в дата-центре Colocation (Размещение сервера) Аренда стоек
        Решения Выделенные серверы для 1С Выделенные серверы с GPU Виртуальный дата-центр VMware
        Операции Продление
      • Дата-центры Варшавка Курчатовский
        Документы SLA Договор Лицензия от 24.05.2012 Лицензия от 24.05.2017
      • Мои услуги
    • SSL
      • Популярное Подобрать SSL-сертификат Сравнение SSL-сертификатов О сертификатах SSL-сертификаты GlobalSign SSL-сертификаты Thawte SSL-сертификаты Comodo SSL-сертификаты TrustWave SSL-сертификаты Symantec SSL-сертификаты GeoTrust SSL-сертификаты Wildcard Бесплатный SSL-сертификат
      • Мои услуги
    • Сервисы
      • Продвижение Автоматическое SEO-продвижение
        Почта для домена Бесплатная почта
        Полезные инструменты Определить свой IP-адрес Определить местоположение по IP Проверка DNS-записей домена Проверка порта на доступность Punycode конвертер Сервис настройки NGINX Проверка IP-адреса сайта Проверка скорости интернета
      • Мониторинг История хостинга домена История изменения Whois Whois Мониторинг доменов Экстренное оповещение SMS-сервисы, уведомления
      • Безопасность Защита персональных данных Защита от спама и вирусов Подобрать SSL-сертификат Установка SSL-сертификата Защита домена
      • Мои услуги
    • Партнёрам
      • Программы для партнёров
        Партнерская программа Описание и преимущества Для профессионалов Партнёрские тарифы Как стать партнёром REG.API v2
      • Бонусная программа Описание и преимущества Правила
      • Разное Договоры и письма Безбумажное управление услугами Бизнес-секреты Промо материалы
    • Помощь
    • Личный кабинет
  • Домены
  • Конструктор и CMS
  • Хостинг
  • VPS
  • Серверы и ДЦ
  • SSL
  • Сервисы
  • Помощь
  • Помощь
  • Хостинг
  • Продвижение сайта
  • Запрет индексации в robots.txt

Запрет индексации в robots.txt

Чтобы убрать весь сайт или отдельные его разделы и страницы из поисковой выдачи Google, Яндекс и других поисковых систем, их нужно закрыть от индексации. Тогда контент не будет отображаться в результатах поиска. Рассмотрим, с помощью каких команд можно выполнить в файле robots.txt запрет индексации.

Зачем нужен запрет индексации сайта через robots.txt

Первое время после публикации сайта о нем знает только ограниченное число пользователей. Например, разработчики или клиенты, которым компания прислала ссылку на свой веб-ресурс. Чтобы сайт посещало больше людей, он должен попасть в базы поисковых систем.

Чтобы добавить новые сайты в базы, поисковые системы сканируют интернет с помощью специальных программ (поисковых роботов), которые анализируют содержимое веб-страниц. Этот процесс называется индексацией.

После того как впервые пройдет индексация, страницы сайта начнут отображаться в поисковой выдаче. Пользователи увидят их в процессе поиска информации в Яндекс и Google — самых популярных поисковых системах в рунете. Например, по запросу «заказать хостинг» в Google пользователи увидят ресурсы, которые содержат соответствующую информацию:

запрет индексации 1

Однако не все страницы сайта должны попадать в поисковую выдачу. Есть контент, который интересен пользователям: статьи, страницы услуг, товары. А есть служебная информация: временные файлы, документация к ПО и т. п. Если полезная информация в выдаче соседствует с технической информацией или неактуальным контентом — это затрудняет поиск нужных страниц и негативно сказывается на позиции сайта. Чтобы «лишние» страницы не отображались в поисковых системах, их нужно закрывать от индексации.

Кроме отдельных страниц и разделов, веб-разработчикам иногда требуется убрать весь ресурс из поисковой выдачи. Например, если на нем идут технические работы или вносятся глобальные правки по дизайну и структуре. Если не скрыть на время все страницы из поисковых систем, они могут проиндексироваться с ошибками, что отрицательно повлияет на позиции сайта в выдаче.

Для того чтобы частично или полностью убрать контент из поиска, достаточно сообщить поисковым роботам, что страницы не нужно индексировать. Для этого необходимо отключить индексацию в служебном файле robots.txt. Файл robots.txt — это текстовый документ, который создан для «общения» с поисковыми роботами. В нем прописываются инструкции о том, какие страницы сайта нельзя посещать и анализировать, а какие — можно.

Прежде чем начать индексацию, роботы обращаются к robots.txt на сайте. Если он есть — следуют указаниям из него, а если файл отсутствует — индексируют все страницы без исключений. Рассмотрим, каким образом можно сообщить поисковым роботам о запрете посещения и индексации страниц сайта. За это отвечает директива (команда) Disallow.

Как запретить индексацию сайта

О том, где найти файл robots.txt, как его создать и редактировать, мы подробно рассказали в статье. Если кратко — файл можно найти в корневой папке. А если он отсутствует, сохранить на компьютере пустой текстовый файл под названием robots.txt и загрузить его на хостинг. Или воспользоваться плагином Yoast SEO, если сайт создан на движке WordPress.

Чтобы запретить индексацию всего сайта:

  1. 1.
    Откройте файл robots.txt.
  2. 2.

    Добавьте в начало нужные строки.

    • Чтобы закрыть сайт во всех поисковых системах (действует для всех поисковых роботов):
    User-agent: *
    Disallow: /
    • Чтобы запретить индексацию в конкретной поисковой системе (например, в Яндекс):
    User-agent: Yandex
    Disallow: /
    • Чтобы закрыть от индексации для всех поисковиков, кроме одного (например, Google)
    User-agent: *
    Disallow: /
    User agent: Googlebot
    Allow: /
  3. 3.
    Сохраните изменения в robots.txt.

Готово. Ресурс пропадет из поисковой выдачи выбранных ПС.

Запрет индексации папки

Гораздо чаще, чем закрывать от индексации весь веб-ресурс, веб-разработчикам требуется скрывать отдельные папки и разделы.

Чтобы запретить поисковым роботам просматривать конкретный раздел:

  1. 1.
    Откройте robots.txt.
  2. 2.

    Укажите поисковых роботов, на которых будет распространяться правило. Например:

    • Все поисковые системы:
    User-agent: *

    — Запрет только для Яндекса:

    User-agent: Yandex
  3. 3.

    Задайте правило Disallow с названием папки/раздела, который хотите запретить:

    Disallow: /catalog/

    Где вместо catalog — укажите нужную папку.

  4. 4.
    Сохраните изменения.

Готово. Вы закрыли от индексации нужный каталог. Если требуется запретить несколько папок, последовательно пропишите для каждой директиву Disallow.

запрет индексации 2 Как закрыть служебную папку wp-admin в плагине Yoast SEO

Как закрыть страницу от индексации в robots.txt

Если нужно закрыть от индексации конкретную страницу (например, с устаревшими акциями или неактуальными контактами компании):

  1. 1.
    Откройте файл robots.txt на хостинге или используйте плагин Yoast SEO, если сайт на WordPress.
  2. 2.
    Укажите, для каких поисковых роботов действует правило.
  3. 3.

    Задайте директиву Disallow и относительную ссылку (то есть адрес страницы без домена и префиксов) той страницы, которую нужно скрыть. Например:

    User-agent: * 
    
    Disallow: /catalog/page.html

    Где вместо catalog — введите название папки, в которой содержится файл, а вместо page.html — относительный адрес страницы.

  4. 4.
    Сохраните изменения.

Готово. Теперь указанный файл не будет индексироваться и отображаться в результатах поиска.

Помогла ли вам статья?
ДаНет
16 раз уже помогла

Спасибо за оценку!
Как мы можем улучшить статью?

Нужна помощь?
Напишите в службу поддержки!

REG.RU
  • О компании
  • Контакты и офисы
  • Новости
  • Карьера в REG.RU
  • Руководство
  • Отзывы клиентов
Услуги
  • Стоимость услуг
  • Хостинг
  • Зарегистрировать домен
  • Конструктор и CMS
  • Создать сайт в REG.Site
  • VPS
  • Серверы и ДЦ
  • SSL-сертификат
Партнёрам
  • Партнёрские программы
  • Профессионалам IT
  • Бонусная программа
  • REG.API
  • Промоматериалы
Полезное
  • Акции и скидки
  • Мероприятия
  • Юридическим лицам
  • ЭДО
  • Whois
Помощь
  • База знаний
  • Вопросы и ответы
  • Шаблоны заявлений
  • Оставить отзыв, предложение
  • Сообщить о нарушении

+7 (495) 580-11-11

Телефон в Москве

8 800 555-34-78

Бесплатный звонок по России

           

Нашли опечатку?
Выделите и нажмите Ctrl+Enter

  • mastercard
  • visa
  • mir
  • sberbank
  • qiwi
  • yamoney
  • sbp
Все способы оплаты
© ООО «Регистратор доменных имен РЕГ.РУ» Правила пользования сайтомПолитика обработки персональных данных
Award
shop.reg.ru Магазин доменов
statonline.ru Доменная статистика
reg.ru/blog Мы пишем
  • Мы используем файлы cookie. Продолжив работу с сайтом, вы соглашаетесь с Политикой обработки персональных данных и Правилами пользования сайтом.