Options
Cloud
В РФ актуальны два managed-сервиса для сбора и управления логами:
Очевидно, первый вариант предпочтительнее для интеграции в уже разрабатываемую мной инфраструктуру, размещенную в Yandex Cloud. Managed-сервисы в относительно простых проектах облегчают управление, обеспечивают autoscaling, отказоустойчивость и снижают операционные затраты.
Selfhosted
EFK/ELK оправдывает свою затратность, ресурсоемкость и требовательность к администрировании при внедрении в проекты с высокими требованиями к контролю, кастомизации, гибкости. PLG эффективен и менее требователен к ресурсам. Тесно интегрирован с Grafana, Prometheus.
Расчет стоимости
- VK Cloud Logging (Beta) бесплатный на этапе бета-тестирования.
- В Yandex Cloud Logging есть нетарифицируемый объем услуг:
- Запись данных, первые 5ГБ в месяц
- Хранение данных, первый 1ГБ в месяц
Как я отметил выше, YCL предпочтительнее, поэтому расчеты буду производить для него:
| Текущие потребности | Потребности через три месяца | |
|---|---|---|
| Кол-во сообщений в секунду | 1 | 1500 |
| Средний размер сообщения | 1 KB | 2 KB |
| Данных в сутки | ≈ 86 KB | ≈ 253 MB |
| Данных в месяц | ≈ 2,6 MB | ≈ 7,6 GB |
| Тарифицируемый объём | 0 МБ | Превышение в 2,6 GB |
| Тариф хранения | 0 МБ | Превышение в 6,6 GB |
| Стоимость записи | Бесплатно | ≈ 65 ₽ |
| Стоимость хранения | Бесплатно | ≈ 166 ₽ |
Подытоживая унылую таблицу
Yandex Cloud Logging:
- на данный момент полностью покрывает потребности бесплатным лимитом
- через три месяца всё еще будет относительно дешевым решением (если прогноз прироста нагрузки окажется точным)
В сторону selfhosted решений стоит смотреть, если появятся требования по кастомизации, изоляции логов или объемы серьезно вырастут (до десятков-сотен ГБ в месяц).
Обоснование
В итоге, был выбран Yandex Cloud Logging для управления логами на текущий момент и через три месяца. Логи собирать и отправлять в YCL будет Fluentbit.
Причины/мотивы выбора:
- Желание попробовать новый managed-сервис для получения большего опыта работы с облачными платформами
- Низкая стоимость
- Легкая интеграция
- Легкое управление