Как заблокировать поисковых ботов через .htaccess

    Поисковый бот — это автоматизированная программа поисковой системы, которая помогает продвигать сайт в поисковой выдаче. Однако наравне с легитимными ботами, могут встречаться спам-боты и агрессивные парсеры, которые перегружают сервер.

    В этой статье мы расскажем, как выявить и заблокировать нежелательных ботов через .htaccess.

    Как проверить статистику запросов

    • 1

      Авторизуйтесь в личном кабинете. В списке услуг кликните по строке с названием хостинга:

      блокировка ботов htaccess 1

    • 2

      На странице услуги нажмите Статистика:

      блокировка ботов htaccess 2

    • 3

      Разверните блок Статистика запросов по User-Agent. После этого отобразится список агентов, даты и количество запросов:

      блокировка ботов htaccess 3

    Как проверить легитимность поискового бота

    Существуют полезные поисковые роботы (например, Googlebot, Yandexbot, Mail.RU_Bot и др.), которые влияют на индексацию сайта и его продвижение. Но иногда под именем полезного поискового робота может скрывается спам-бот, который создает ненужную нагрузку на сайт.

    Для проверки бота на легитимность выполните следующие действия:

    • 1
      Перейдите в журнал логов сайта на хостинге. Проверьте, с какого IP-адреса приходили запросы по User-Agent и скопируйте его.
    • 2

      Откройте сервис Whois. Вставьте скопированный IP в поле для ввода и кликните Проверить. В результатах проверки отобразится название компании, которая владеет адресом. Например, если проверить владельца адреса 66.249.66.1, в строке «Organization» отобразится наименование компании Google:

      блокировка ботов htaccess 4

    Как заблокировать поисковых ботов

    При блокировке ботов важно учесть, какой код ответа будет отдавать сервер. Наиболее предпочтительно использовать HTTP-код 429 Too Many Requests — тогда поисковый робот воспримет его как сигнал временно снизить частоту запросов.

    Обратите внимание

    Не нужно ставить полную блокировку ботов с кодом 403 — иначе это приведет к проблемам при показе сайта в поисковиках.

    Чтобы снизить активность поисковых роботов:

    • 1
      Войдите в панель управления хостингом.
    • 2
      Перейдите в корневую директорию сайта и откройте файл .htaccess. Если этого файла нет, создайте его по инструкции.
    • 3

      Добавьте строки:

      <IfModule mod_rewrite.c>
    RewriteEngine On
    RewriteCond %{HTTP_USER_AGENT} (bot-name-1|bot-name-2) [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} (python-requests|curl|Go-http-client|Scrapy|node-fetch|libwww) [NC]
    RewriteRule .* - [R=429,L]
</IfModule>

      Вместо bot-name-1 и bot-name-2 укажите названия ботов, для которых нужно снизить активность.

      После этого сохраните изменения.

    Готово, вы заблокировали поисковых ботов.

    Помогла ли вам статья?

    Спасибо за оценку. Рады помочь 😊

     👍
    Специальные предложения