Система мониторинга Prometheus

В этой статье мы расскажем, что такое мониторинг Prometheus, как установить и как пользоваться Prometheus. “система-мониторинга” Prometheus описание Prometheus — система мониторинга серверов и программ с открытым исходным кодом. Она была выпущена в 2012 году для мониторинга музыкальной социальной сети SoundCloud. Из-за специфики архитектуры SoundCloud традиционные системы мониторинга не подходили, поэтому по новой технологии был создан Prometheus-мониторинг. Позже новый мониторинг сервисов стал интересен за пределами музыкальной сети. Создатели доработали систему и предложили её более широкому рынку. Релиз обновлённой программы прошёл в 2015 году.

Система мониторинга Prometheus может собирать информацию о состоянии серверов и систем (Linux-сервера, Apache-сервера, сервера баз данных), а также получать предупреждения о проблемах. Объекты мониторинга называются целевыми объектами.

Главное отличие Prometheus от остальных систем мониторинга — метод сбора данных. Обычно объекты мониторинга отправляют нужные параметры серверам мониторинговых программ. Прометеус же наоборот — сам берёт нужную ему информацию с серверов и устройств, обращаясь к целевым объектам при помощи языка PromQL. Сервер Prometheus считывает параметры целевых объектов с интервалами, которые задаёт пользователь. Данные от целевых объектов передаются на сервер в формате http и хранятся в базе данных временных рядов. В отличие от системы Zabbix, которая написана на языке С и PHP, Prometheus написан на Go и Ruby. Prometheus функционирует благодаря таким компонентам, как:

Prometheus-server — главное звено всей системы. Он отвечает за сбор и хранение данных. Есть простой веб-интерфейс, но для полноценной работы с системой лучше устанавливать дополнительный.
Exporters — это часть ПО, которая собирает и передаёт Prometheus-метрики серверу. Существуют разные экспортёры, например HAProxy, StatsD, Graphite. Они устанавливаются на целевые объекты и собирают определённые метрики. Если ни один экспортёр вам не подходит, то можно написать свой.

Работа с Prometheus не обойдётся без дополнения Grafana — с его помощью можно визуализировать полученные данные в виде наглядных графиков, диаграмм и таблиц (dashboard). А также Alertmanager — программы для настройки уведомлений. Если на целевом объекте появятся проблемы, Alertmanager сможет отправить письмо на почту, Slack, Hipchat, Pagerduty или Telegram.

C помощью руководства ниже вы сможете установить Prometheus на CentOS, Debian, Ubuntu. Также мы расскажем, как установить exporter и Alertmanager, чтобы можно было получать сообщения о неисправностях.

Как установить Prometheus

1.
На официальном сайте Prometheus скопируйте ссылку на установочный пакет для Linux:
Пример ссылки для Linux
2.
Если у вас нет wget, то перед началом работы с Prometheus установите этот пакет.
wget https://github.com/prometheus/prometheus/releases/download/v2.20.1/prometheus-2.20.1.linux-amd64.tar.gz

Распакуйте архив:

tar -xvzf prometheus-2.20.1.linux-amd64.tar.gz prometheus-2.20.1.linux-amd64/

Скопируйте исполняемые файлы в /usr/local/bin/:

cd prometheus-2.20.1.linux-amd64/

cp prometheus /usr/local/bin/

cp promtool /usr/local/bin/

Создайте папку для файлов конфигурации и скопируйте в неё конфиги:

cp -r consoles/ /etc/prometheus/consoles/

cp -r console_libraries/ /etc/prometheus/console_libraries/

cp prometheus.yml /etc/prometheus/

6.
Создайте папку для хранения данных:
mkdir /var/lib/prometheus
7.
Создайте пользователя и назначьте владельца файлов и папок:
useradd -M -r -s /bin/nologin promethe
chown -R prometheus:prometheus /etc/prometheus /var/lib/prometheus

Создайте systemd-юнит, чтобы удобнее управлять сервисом:

vim /etc/systemd/system/prometheus.service

Впишите в файл конфигурацию сервиса Prometheus:

[Unit]

Description=Prometheus systemd service unit

Wants=network-online.target
After=network-online.target

[Service]

Type=simple

User=prometheus

Group=prometheus
ExecReload=/bin/kill -HUP $MAINPID
ExecStart=/usr/local/bin/prometheus \
--config.file=/etc/prometheus/prometheus.yml \
--storage.tsdb.path=/var/lib/prometheus \
--web.console.templates=/etc/prometheus/consoles \
--web.console.libraries=/etc/prometheus/console_libraries \
--web.listen-address=0.0.0.0:9090

SyslogIdentifier=prometheus
Restart=always

[Install]

WantedBy=multi-user.target

Сохраните изменения в файле и выйдите.

9.
Обновите список юнитов:
systemctl daemon-reload
10.
Запустите Prometheus:
systemctl start prometheus.service

11.

Для автоматической загрузки Prometheus введите:

ystemctl enable prometheus.service 

Created symlink /etc/systemd/system/multi-user.target.wants/prometheus.service → /etc/systemd/system/prometheus.service

Готово, теперь Prometheus доступен по адресу $IP:9090:
установленный-prometheus

Как установить exporter

Чтобы Prometheus мог собирать данные с целевых объектов, установите node_exporter.

1.
На официальном сайте Prometheus скопируйте ссылку для установки node_exporter:
Пример ссылки для Linux

Установите пакет node_exporter:

wget 

https://github.com/prometheus/node_exporter/releases/download/v1.0.1/node_exporter-1.0.1.linux-amd64.tar.gz

Распакуйте архив:

wget 

https://github.com/prometheus/node_exporter/releases/download/v1.0.1/node_exporter-1.0.1.linux-amd64.tar.gz

Скопируйте бинарный файл:

wget 

cp node_exporter-1.0.1.linux-amd64/node_exporter /usr/local/bin/

5.
Создайте пользователя:
useradd -M -r -s /bin/nologin node_exporter

Создайте юнит:

vim /etc/systemd/system/node_exporter.service

Впишите в файл:

[Unit]

Description=Node Exporter

Wants=network-online.target
After=network-online.target

[Service]

User=node_exporter

Group=node_exporter

ExecStart=/usr/local/bin/node_exporter

[Install]

WantedBy=default.target

Сохраните изменения в файле и выйдите.

8.
Обновите список сервисов:
systemctl daemon-reload
9.
Включите node_exporter:
systemctl start node_exporter.service
10.
Для автоматической загрузки node_exporter введите:
systemctl enable node_exporter.service

11.

Чтобы собирались данные с экспортёра, исправьте /etc/prometheus/prometheus.yml так:

scrape_configs:

  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.

  - job_name: 'prometheus'

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

static_configs:

    - targets: ['localhost:9090']

  - job_name: 'node_localhost'

    static_configs:
    - targets: ['localhost:9100']

Обратите внимание, yml-формат чувствителен к пробелам и табуляциям.

12.
Перезагрузите Prometheus:
systemctl restart prometheus.service
13.
В веб-интерфейсе Prometheus зайдите в рубрику Status ― Targets. Там появится новый таргет для мониторинга:

14.

Чтобы дополнительно поставить node_exporter на другую машину и добавить её в мониторинг, внесите правки в config:

scrape_configs:

  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.

  - job_name: 'prometheus'
    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

static_configs:

    - targets: ['localhost:9090']

  - job_name: 'node_localhost'

    static_configs:

    - targets: ['localhost:9100']

- job_name: 'node_exporter_clients'

    static_configs:

    - targets: ['194.12.345.6:9100']

как-работает-мониторинг-prometheus

Чтобы добавить несколько серверов, которые нужно мониторить вместе, введите:

scrape_configs:

  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.

  - job_name: 'prometheus'

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

static_configs:

    - targets: ['localhost:9090']

- job_name: 'node_exporter_clients'

    static_configs:

    - targets: ['194.12.345.6:9100','localhost:9100']

работа-мониторинга-prometheus

Как установить Alertmanager

Чтобы пользователю приходили оповещения о состоянии сервера, установите Alertmanager.

1.
На официальном сайте Prometheus скопируйте ссылку для установки alertmanager.

Установите пакет alertmanager. Например, для Linux введите:

wget 

https://github.com/prometheus/alertmanager/releases/download/v0.21.0/alertmanager-0.21.0.linux-amd64.tar.gz

Распакуйте архив:

tar -xvzf alertmanager-0.21.0.linux-amd64.tar.gz

Создайте папку:

mkdir /etc/alertmanager /var/lib/prometheus/alertmanager

Скопируйте бинарный файл и config в нужные папки:

cd alertmanager-*linux-amd64/

cp amtool alertmanager /usr/local/bin/

cp alertmanager.yml /etc/alertmanager

useradd -M -r -s /bin/nologin alertmanager

7.
Исправьте владельца на config и директорию с данными:
chown -R alertmanager:alertmanager /etc/alertmanager /var/lib/prometheus/alertmanager

Создайте systemd-юнит:

vim /etc/systemd/system/alertmanager.service

Впишите в файл:

[Unit]

Description=Alertmanager Service

After=network.target

[Service]

User=alertmanager

Group=alertmanager

Type=simple
ExecStart=/usr/local/bin/alertmanager \
         --config.file=/etc/alertmanager/alertmanager.yml \
         --storage.path=/var/lib/prometheus/alertmanager \
         --cluster.advertise-address=127.0.0.1:9093
ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure

[Install]

WantedBy=multi-user.target

Сохраните изменения в файле и выйдите.

10.
Обновите список юнитов:
systemctl daemon-reload
11.
Запустите Alertmanager:
systemctl start alertmanager
12.
Настройте автозагрузку Alertmanager:
systemctl enable alertmanager

13.

Создайте правило для мониторинга, при котором система будет считать, что виртуальный сервер работает неправильно.

vim /etc/prometheus/alert.rules.yml

Содержимое файла:

groups:

- name: alert.rules

  rules:
  - alert: InstanceDown
    expr: up == 0
    for: 30s
    labels:
      severity: critical
    annotations:
      description: '{{ $labels.instance }} of job {{ $labels.job }} has been down
        for more than 30 seconds. '
      summary: Instance {{ $labels.instance }} down

14.

Поместите правило в config Prometheus и Alertmanager:

rule_files:

  - 'alert.rules.yml'

# Alertmanager configuration

alerting:

  alertmanagers:
  - static_configs:
    - targets:
      - 'localhost:9093'

15.
Перезапустите Prometheus:
systemctl restart prometheus.service

Готово, вы установили Alertmanager. Его можно увидеть по адресу http://$IP:9090/alerts.

Как настроить уведомления на почту

Настроим уведомления на Яндекс.Почту через Alertmanager.

Введите:

vim /etc/alertmanager/alertmanager.yml

Содержимое файла должно выглядеть так:

global:

  resolve_timeout: 5m

  smtp_from: "test@yandex.ru"

route:

  group_by: ['alertname']

  group_wait: 10s

  group_interval: 10s
  repeat_interval: 1h
  receiver: 'web.hook'

routes:

    - receiver: 'send_email'

receivers:

- name: 'web.hook'

  webhook_configs:
  - url: 'http://127.0.0.1:5001/'

- name: 'send_email'

  email_configs:
  - to: 'test@yandex.ru'
    smarthost: 'smtp.yandex.ru:587'
    require_tls: true
    auth_username: "test@yandex.ru"
    auth_identity: "test@yandex.ru"
    auth_password: "password"

inhibit_rules:

  - source_match:

      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']

Готово, если всё сделано правильно, то на почту будет отправлено проверочное письмо.

Помогла ли вам статья?

Да Нет

раз уже помогла

Система мониторинга Prometheus

Мониторинг выделенных серверов

Как установить Prometheus

Как установить exporter

Как установить Alertmanager

Как настроить уведомления на почту