Купить Корзина
Логотип REG.RU
  • Вход
    • Помощь
  • Помощь
  • Хостинг
  • Файлы web.config и .htaccess
  • Как заблокировать поисковых ботов через .htaccess

Как заблокировать поисковых ботов через .htaccess

Некоторые поисковые боты/роботы создают лишнюю нагрузку на СPU сайта и не несут пользы для его индексирования. В данной статье мы расскажем, как вычислить «плохого» бота и заблокировать через файл .htaccess. Прежде всего нужно найти «вредного» робота. Для этого откройте список услуг и перейдите на страницу услуги хостинга, на котором размещен ваш сайт. Кликните по ссылке Статистика:

На открывшейся странице нажмите пункт Статистика запросов по User-Agent. Ниже отобразится ранжированный список юзер-агентов, которые чаще других посещают ваш сайт:

Обратите внимание на то, что существуют полезные поисковые роботы (например, Googlebot, Yandexbot, Mail.RU_Bot и др.), которые влияют на индексацию сайта и его продвижение. Несмотря на то, что они создают нагрузку, блокировать их не нужно. Вы можете ограничить обращения этих поисковых роботов, прописав директиву crawl-delay в файле robots.txt.

Процедура описана в статье: Превышен лимит на использование CPU (ищите подзаголовок Статистика запросов по User-Agent). Настроить ботов Google и Яндекс через robots.txt не получится. Для этого нужно воспользоваться Инструментами для веб-мастеров Google и Яндекс.Вебмастером.

Однако есть вероятность того, что под именем полезного поискового робота скрывается спам-бот, создающий ненужную нагрузку на сайт. Чтобы исключить возможность «вторжения», проверьте в журнале логов, от какого IP-адреса приходят запросы. Затем воспользуйтесь сервисом whois: вставьте в строку поиска IP и нажмите Проверить, в результате будет указан владелец IP (организация). Например, если вбить IP 66.249.66.1 (один из IP Google), выдача будет выглядеть следующим образом:

Следовательно, обращения по этому IP принадлежат не спам-боту, а настоящему поисковому роботу Google. Если это создает нагрузку на ваш сайт, вы можете повысить тариф хостинга, чтобы увеличить количество ресурсов CPU.

Блокировка через .htaccess

После того как вы определили конкретных юзер-агентов, нагружающих сервер, самое время запретить им вход. Для этого откройте файл .htaccess в каталоге сайта. В случае отсутствия вы также можете создать его, воспользовавшись инструкцией: У меня нет файла .htaccess, что делать.

В .htaccess добавьте строку:

SetEnvIfNoCase User-Agent "Name_of_bot" bad_bot

где на место Name_of_bot подставлен юзер-агент из Подробной статистики.

Таким образом вы укажете серверу, что данные обращения поступают от «плохого бота». Далее задайте правило доступа к вашему сайту, заблокировав плохого бота:

<Limit GET POST HEAD> 
Order Allow,Deny 
Allow from all
Deny from env=bad_bot
</Limit>

Сохраните изменения.

Помогла ли вам статья?
ДаНет
раз уже помогла

Спасибо за оценку!
Как мы можем улучшить статью?

Нужна помощь?
Напишите в службу поддержки!

REG.RU
  • О компании
  • Контакты и офисы
  • Новости
  • Карьера в REG.RU
  • Руководство
  • Отзывы клиентов
Услуги
  • Стоимость услуг
  • Хостинг
  • Зарегистрировать домен
  • Конструктор и CMS
  • Создать сайт в REG.Site
  • VPS
  • Серверы и ДЦ
  • SSL-сертификат
Партнёрам
  • Партнёрские программы
  • Профессионалам IT
  • Бонусная программа
  • REG.API
  • Промоматериалы
Полезное
  • Акции и скидки
  • Мероприятия
  • Юридическим лицам
  • ЭДО
  • Whois
Помощь
  • База знаний
  • Вопросы и ответы
  • Шаблоны заявлений
  • Оставить отзыв, предложение
  • Сообщить о нарушении

+7 (495) 580-11-11

Телефон в Москве

8 800 555-34-78

Бесплатный звонок по России

           

Нашли опечатку?
Выделите и нажмите Ctrl+Enter

  • mastercard
  • visa
  • mir
  • sberbank
  • qiwi
  • yamoney
  • sbp
Все способы оплаты
© ООО «Регистратор доменных имен РЕГ.РУ» Правила пользования сайтомПолитика обработки персональных данных
Award
shop.reg.ru Магазин доменов
statonline.ru Доменная статистика
reg.ru/blog Мы пишем
  • Мы используем файлы cookie. Продолжив работу с сайтом, вы соглашаетесь с Политикой обработки персональных данных и Правилами пользования сайтом.