Мониторинг производительности веб-приложений: настройка Prometheus и Grafana для Django

Сайты

28 апреля 2025 г.

Мониторинг производительности веб-приложений — важнейший аспект обеспечения их стабильности и эффективности. В этой статье мы разберем пошаговую инструкцию по настройке мониторинга Django-приложений с использованием Prometheus для сбора метрик и Grafana для их визуализации. Также обсудим ключевые метрики: задержку (latency), использование процессора (CPU) и памяти (memory).

Почему Prometheus и Grafana?

Prometheus — это мощная система мониторинга и алертинга с открытым исходным кодом, идеально подходящая для сбора временных рядов метрик. Она поддерживает гибкий язык запросов PromQL и легко интегрируется с Django.

Grafana — это платформа визуализации данных, которая позволяет создавать информативные дашборды на основе данных из Prometheus, предоставляя удобный интерфейс для анализа и настройки уведомлений.

Комбинация этих инструментов помогает разработчикам и DevOps-инженерам отслеживать производительность приложений в реальном времени, выявлять узкие места и оперативно реагировать на проблемы.

Предварительные требования

Перед началом убедитесь, что у вас есть:

Python (версия 3.8 или выше).
Django-приложение (в примере используется версия 4.x).
Docker и Docker Compose для развертывания Prometheus и Grafana.
Базовые знания о метриках и мониторинге.

Шаг 1: Настройка Django для экспорта метрик

Для интеграции Django с Prometheus используем библиотеку django-prometheus, которая упрощает экспорт метрик.

Установка django-prometheus

Установите библиотеку с помощью pip:

pip install django-prometheus

Настройка Django-приложения

Добавьте django_prometheus в список приложений в файле settings.py:

INSTALLED_APPS = [
    ...
    'django_prometheus',
    ...
]

Настройте middleware для отслеживания запросов в settings.py:

MIDDLEWARE = [
    'django_prometheus.middleware.PrometheusBeforeMiddleware',
    ...
    'django_prometheus.middleware.PrometheusAfterMiddleware',
]

Экспорт метрик

Библиотека автоматически создает эндпоинт /metrics, который Prometheus будет использовать для сбора данных. Убедитесь, что ваш сервер (например, Gunicorn) доступен для Prometheus.

Шаг 2: Установка и настройка Prometheus

Мы используем Docker для упрощения развертывания Prometheus.

Создание конфигурации Prometheus

Создайте файл prometheus.yml в корневой директории проекта:

global:
  scrape_interval: 15s

scrape_configs:
  - job_name: 'django'
    static_configs:
      - targets: ['host.docker.internal:8000']

Этот файл указывает Prometheus, как часто собирать метрики и где их брать (эндпоинт /metrics вашего Django-приложения).

Запуск Prometheus с Docker

Создайте файл docker-compose.yml:

version: '3.8'
services:
  prometheus:
    image: prom/prometheus:latest
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml
    ports:
      - "9090:9090"
    extra_hosts:
      - "host.docker.internal:host-gateway"

  grafana:
    image: grafana/grafana:latest
    ports:
      - "3000:3000"
    environment:
      - GF_SECURITY_ADMIN_PASSWORD=admin

Запустите сервисы:

docker-compose up -d

Prometheus доступен по адресу http://localhost:9090. Проверьте сбор метрик, выполнив запрос, например, django_http_requests_total.

Шаг 3: Настройка Grafana

Grafana используется для визуализации метрик, собранных Prometheus.

Подключение Prometheus к Grafana

Откройте Grafana по адресу http://localhost:3000 и войдите (логин: admin, пароль: admin).
Перейдите в Configuration → Data Sources → Add data source.
Выберите Prometheus и укажите URL: http://prometheus:9090.
Нажмите Save & Test для проверки подключения.

Создание дашборда

Выберите Create → Dashboard → Add new panel.
В разделе Query выберите Prometheus как источник данных.
Используйте PromQL-запросы, например:
- Задержка запросов: histogram_quantile(0.95, sum(rate(django_http_request_duration_seconds_bucket[5m])) by (le))
- Использование CPU: rate(process_cpu_seconds_total[5m])
- Использование памяти: process_resident_memory_bytes
Настройте визуализацию (график, таблица) и сохраните дашборд.

Шаг 4: Ключевые метрики для мониторинга

Для эффективного мониторинга отслеживайте следующие метрики:

1. Задержка (Latency)

Задержка запросов показывает время обработки HTTP-запросов. Высокая задержка может указывать на проблемы с базой данных или перегрузку сервера.

PromQL-запрос: histogram_quantile(0.95, sum(rate(django_http_request_duration_seconds_bucket[5m])) by (le))
Рекомендация: Установите алерты, если 95-й перцентиль задержки превышает 1 секунду.

2. Использование процессора (CPU)

Показывает, сколько процессорного времени потребляет приложение. Высокое использование может быть связано с неэффективным кодом.

PromQL-запрос: rate(process_cpu_seconds_total[5m])
Рекомендация: Оптимизируйте запросы или масштабируйте приложение.

3. Использование памяти (Memory)

Помогает выявить утечки памяти или неэффективное использование ресурсов.

PromQL-запрос: process_resident_memory_bytes
Рекомендация: Настройте алерты, если потребление памяти превышает 80% доступного объема.

Шаг 5: Настройка алертов

Prometheus позволяет настраивать алерты для уведомления о проблемах. Добавьте правило в prometheus.yml:

rule_files:
  - "alerts.yml"

Создайте файл alerts.yml:

groups:
- name: example
  rules:
  - alert: HighLatency
    expr: histogram_quantile(0.95, sum(rate(django_http_request_duration_seconds_bucket[5m])) by (le)) > 1
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "High request latency detected"
      description: "95th percentile latency is above 1 second."

Перезапустите Prometheus:

docker-compose restart prometheus

Для уведомлений интегрируйте Prometheus с инструментами, такими как Slack или PagerDuty, через Alertmanager.

Шаг 6: Оптимизация и масштабирование

На основе метрик можно оптимизировать приложение:

Задержка: Оптимизируйте запросы к базе данных с помощью индексов или кэширования (Redis).
CPU: Используйте профилирование для выявления узких мест.
Память: Проверьте утечки памяти с помощью tracemalloc.

Для масштабирования используйте балансировщик нагрузки и разверните приложение на нескольких серверах.

Заключение

Настройка мониторинга с Prometheus и Grafana обеспечивает полное представление о производительности Django-приложений. Отслеживание задержки, CPU и памяти позволяет выявлять проблемы до их влияния на пользователей. Следуя этой инструкции, вы создадите надежную систему мониторинга для стабильной работы приложения.