Купить Корзина
Логотип REG.RU
Регистрация      Вход
  • Все услуги
    •  
    • Домены
      • Регистрация Зарегистрировать домен Перенос доменов в REG.RU Освобождающиеся домены Регистрация доменов списком Премиум-домены Освобождённые домены Новые доменные зоны REG.RU Энциклопедия доменных зон Географические домены Подбор по ключевому слову
      • Купить-продать Магазин доменов Доменный брокер Гарант сделки Доменный брокер для владельца Экспертная оценка домена
        Специальное Условия и цены для Партнёров Юридическое сопровождение Нотариальное заверение
        сайтаnew
        Защита домена
      • Операции Продление регистрации Смена администратора Изменение данных Перенос доменов между аккаунтами Смена регистратора Договоры и письма Онлайн-операции с доменами
      • Мои домены
    • Конструктор и CMS
      • Конструкторы сайтов Конструктор сайтов REG.RU REG.Site
        Лицензии Купить Лицензию 1С-Битрикс Продлить Лицензию 1С-Битрикс
      • Сайты на CMS 1С-Битрикс Wordpress
      • Услуги Переадресация домена Парковочная страница
      • Мои услуги
    • Хостинг
      • Популярное Хостинг сайтов Конструктор сайтов REG.RU Бесплатная почта VIP-тарифы хостинга
      • Спецрешения Хостинг с cPanel Хостинг с Plesk Хостинг для 1C-Битрикс Хостинг для ASP.NET Хостинг для WordPress Хостинг для OpenCart Сервер для бизнесаnew
      • Операции Продление Изменение владельца Договоры и письма Бесплатный перенос
      • Мои услуги
    • VPS
      • Обзор VPS
        Облачные VPS Облачные серверы Высокочастотные VPSnew Приложения ISPmanager BitrixVM LEMP Docker Снэпшоты
      • Классические VPS VPS на Linux VPS на Windows
        Спецрешения Сервер для бизнеса Jelastic PaaS Виртуальный дата-центр VMware Серверы для 1С
      • Операции Продление Изменение владельца Перенос услуг внутри REG.RU Договоры и письма
      • Мои услуги
    • Серверы и ДЦ
      • Аренда сервера Dedicated-серверы (Выделенные) Конфигуратор серверов Серверы под заказ Дешёвые серверы
        Услуги Администрирование сервера Мониторинг серверов Бэкап сервера Все услуги
      • Размещение в дата-центре Colocation (Размещение сервера) Аренда стоек
        Решения Выделенные серверы для 1С Выделенные серверы с GPU Виртуальный дата-центр VMware
        Операции Продление
      • Дата-центры Варшавка Курчатовский
        Документы SLA Договор Лицензия от 24.05.2012 Лицензия от 24.05.2017
      • Мои услуги
    • SSL
      • Популярное Подобрать SSL-сертификат Сравнение SSL-сертификатов О сертификатах SSL-сертификаты GlobalSign SSL-сертификаты Thawte SSL-сертификаты Comodo SSL-сертификаты TrustWave SSL-сертификаты Symantec SSL-сертификаты GeoTrust SSL-сертификаты Wildcard Бесплатный SSL-сертификат
      • Мои услуги
    • Сервисы
      • Продвижение Автоматическое SEO-продвижение
        Почта для домена Бесплатная почта
        Полезные инструменты Определить свой IP-адрес Определить местоположение по IP Проверка DNS-записей домена Проверка порта на доступность Punycode конвертер Сервис настройки NGINX Проверка IP-адреса сайта Проверка скорости интернета
      • Мониторинг История хостинга домена История изменения Whois Whois Мониторинг доменов Экстренное оповещение SMS-сервисы, уведомления
      • Безопасность Защита персональных данных Защита от спама и вирусов Подобрать SSL-сертификат Установка SSL-сертификата Защита домена
      • Мои услуги
    • Партнёрам
      • Программы для партнёров
        Партнерская программа Описание и преимущества Для профессионалов Партнёрские тарифы Как стать партнёром REG.API v2
      • Бонусная программа Описание и преимущества Правила
      • Разное Договоры и письма Безбумажное управление услугами Бизнес-секреты Промо материалы
    • Помощь
    • Личный кабинет
  • Домены
  • Конструктор и CMS
  • Хостинг
  • VPS
  • Серверы и ДЦ
  • SSL
  • Сервисы
  • Помощь
  • Помощь
  • Хостинг
  • Файлы web.config и .htaccess
  • Как заблокировать поисковых ботов через .htaccess

Как заблокировать поисковых ботов через .htaccess

Некоторые поисковые боты/роботы создают лишнюю нагрузку на СPU сайта и не несут пользы для его индексирования. В данной статье мы расскажем, как вычислить «плохого» бота и заблокировать через файл .htaccess. Прежде всего нужно найти «вредного» робота. Для этого откройте список услуг и перейдите на страницу услуги хостинга, на котором размещен ваш сайт. В блоке Краткая сводка кликните по ссылке Подробная статистика по нагрузке CPU:

блокировка ботов через htaccess 1

На открывшейся странице нажмите пункт Статистика запросов по User-Agent. Ниже отобразится ранжированный список юзер-агентов, которые чаще других посещают ваш сайт:

блокировка ботов через htaccess 2

Обратите внимание на то, что существуют полезные поисковые роботы (например, Googlebot, Yandexbot, Mail.RU_Bot и др.), которые влияют на индексацию сайта и его продвижение. Несмотря на то что они создают нагрузку, блокировать их не нужно. Вы можете ограничить обращения этих поисковых роботов, прописав директиву *crawl-delay* в файле *robots.txt*.

Процедура описана в статье: Превышен лимит на использование CPU (ищите подзаголовок Статистика запросов по User-Agent). Настроить ботов Google и Яндекс через robots.txt не получится. Для этого нужно воспользоваться Инструментами для веб-мастеров Google и Яндекс.Вебмастером.

Однако есть вероятность того, что под именем полезного поискового робота скрывается спам-бот, создающий ненужную нагрузку на сайт. Чтобы исключить возможность «вторжения», проверьте в журнале логов, от какого IP-адреса приходят запросы. Затем воспользуйтесь сервисом whois: вставьте в строку поиска IP и нажмите Проверить, в результате будет указан владелец IP (организация). Например, если вбить IP 64.68.82.7 (один из IP Google), выдача будет выглядеть следующим образом:

блокировка ботов через htaccess 3

Следовательно, обращения по этому IP принадлежат не спам-боту, а настоящему поисковому роботу Google. Если это создает нагрузку на ваш сайт, вы можете повысить тариф хостинга, чтобы увеличить количество ресурсов CPU.

Блокировка через .htaccess

После того как вы определили конкретных юзер-агентов, нагружающих сервер, самое время запретить им вход. Для этого откройте файл .htaccess в каталоге сайта. В случае отсутствия вы также можете создать его, воспользовавшись инструкцией: У меня нет файла .htaccess, что делать.

В .htaccess добавьте строку:

SetEnvIfNoCase User-Agent "Name_of_bot" bad_bot

где на место Name_of_bot подставлен юзер-агент из Подробной статистики.

Таким образом вы укажете серверу, что данные обращения поступают от «плохого бота». Далее задайте правило доступа к вашему сайту, заблокировав плохого бота:

<Limit GET POST HEAD> 
Order Allow,Deny 
Allow from all
Deny from env=bad_bot
</Limit>

Сохраните изменения.

Помогла ли вам статья?
ДаНет
3 раза уже помогла

Спасибо за оценку!
Как мы можем улучшить статью?

Нужна помощь?
Напишите в службу поддержки!

REG.RU
  • О компании
  • Контакты и офисы
  • Новости
  • Карьера в REG.RU
  • Руководство
  • Отзывы клиентов
Услуги
  • Стоимость услуг
  • Хостинг
  • Зарегистрировать домен
  • Конструктор и CMS
  • Создать сайт в REG.Site
  • VPS
  • Серверы и ДЦ
  • SSL-сертификат
Партнёрам
  • Партнёрские программы
  • Профессионалам IT
  • Бонусная программа
  • REG.API
  • Промоматериалы
Полезное
  • Акции и скидки
  • Мероприятия
  • Юридическим лицам
  • ЭДО
  • Whois
Помощь
  • База знаний
  • Вопросы и ответы
  • Шаблоны заявлений
  • Оставить отзыв, предложение
  • Сообщить о нарушении

+7 (495) 580-11-11

Телефон в Москве

8 800 555-34-78

Бесплатный звонок по России

           

Нашли опечатку?
Выделите и нажмите Ctrl+Enter

  • mastercard
  • visa
  • mir
  • sberbank
  • qiwi
  • yamoney
  • sbp
Все способы оплаты
© ООО «Регистратор доменных имен РЕГ.РУ» Правила пользования сайтомПолитика обработки персональных данных
Award
shop.reg.ru Магазин доменов
statonline.ru Доменная статистика
reg.ru/blog Мы пишем
  • Мы используем файлы cookie. Продолжив работу с сайтом, вы соглашаетесь с Политикой обработки персональных данных и Правилами пользования сайтом.