Доки Арута

Мониторинг

2 min read

Мониторинг

Введение

User space ПО не имеет прямого доступа к инфе о current состоянии системы и процессов, поэтому в linux есть “каталог” /proc, где и хранится вся инфа в виде файлов (linux же) о состоянии железа, процессов и т.д. Но это не настоящий каталог - он нигде не хранится (ни на SSD/HDD, ни на RAM) (и файлы там имеют нулевой размер), он просто генерируется на лету, когда запрашиваешь данные (по команде ls, например). Получается, ПО типа ps, htop, uname, uptime и т.п. берут инфу из этого каталога.

cat /proc/version
# и
uname -a
# покажут примерно одно и то же

Мониторинг - это сбор, обработка, агрегирование и отображение количественных показателей системы в реальном времени. Сервисы можно разделить на три слоя, которые нужно мониторить:

  • Инфраструктурный слой Данные о работе ПО и оборудования (железо) опорной инфраструктуры

  • Прикладной слой Данные о работе ПО, реализующих бизнес-логику сервера

  • Бизнес-слой Данные об активности пользователя или конечной точки подключения

Хороший мониторинг

Хорошая система мониторинга оповещает о проблемах, а идеальная делает это до того, как с ними столкнулись юзеры и произошли бизнес-потери.

Система должна соответствовать двум принципам:

  1. Отслеживать метрики, помогающие принимать решения и НЕ мониторить лишнее.
  2. Уведомлять, когда еще что-то можно сделать без последствий для работоспособности сервиса и НЕ спамить ложной тревогой.

Source: https://www.itsumma.ru/blog/alerts

Три популярных подхода к сбору метрики:

  • LTES / 4 golden signals (Google SRE)

    • Latency Время на обработку одного запроса (с разделением на успешные/ошибочные)
    • Traffic Кол-во запросов к компоненту (для веб-сервера это могут http-запросы, для БД - транзакции и т.п.)
    • Errors Кол-во ошибок
    • Saturation Количественная метрика, отражающая, насколько компонент использует свои ресурсы и сколько у него «работы в очереди»

  • RED (Brendan Gregg)

    • Rate Кол-во запросов в единицу времени (RPS, например)
    • Errors Кол-во ошибок
    • Duration (Latency) Время обработки одного запроса

  • USE (Tom Wilkie)

    • Utilization Время/процент использования ресурса, занятого «полезной работой»
    • Saturation (насыщенность) Кол-во отложенной/поставленной в очередь «работы»
    • Errors Кол-во ошибок

Для веб- или application-сервера лучше подходят RED и LTES, для шины данных или обработчиков очередей задач - USE.

Source: https://www.itsumma.ru/blog/alerts

Prometheus Алертинг Мониторинг, который я разворачивал в рамках практической работы: Module 22 Мониторинг HTTP status codes

monitoring

Backlinks