كل المقالات التقنية

تنبيهات Prometheus قابلة للتنفيذ والتحقق من Alertmanager

يوصل التنبيه المفيد مشكلة مستمرة إلى مسؤول مع إجراء واضح.

تنبيهات Prometheus قابلة للتنفيذ والتحقق من Alertmanager

تحميل rule وحده لا يكفي؛ اختبر Scrape وحالات Pending/Firing وAlertmanager والمستقبِل. صمّم تنبيهين لتوفر exporter ومساحة filesystem مع مدة انتظار وRunbook.

النطاق والمتطلبات

يفترض المثال Prometheus وnode_exporter مع job=node وAlertmanager مضبوطاً. اقرأ أسماء job والlabels الفعلية. يفترض mountpoint=/ رؤية جذر المضيف. استبدل روابط Runbook التوضيحية قبل التفعيل؛ لا تثق بمستقبِل إشعارات لم يُختبر.

١. اجمع الأدلة

افحص خطأ Scrape وآخر نجاح. تعني up == 0 فشل الجلب لا سقوط الموقع بالضرورة. قد يختفي metric عند إزالة target من discovery فلا يراه rule. تحتاج التغطية المتوقعة وتوفر HTTP الاصطناعي إلى فحوص وقواعد مستقلة.

# Query these in the Prometheus expression browser:
up{job="node"}
node_filesystem_avail_bytes{job="node",mountpoint="/"}
node_filesystem_size_bytes{job="node",mountpoint="/"}

٢. نفّذ تغييراً مضبوطاً

يمنع for القفزات القصيرة باشتراط استمرار الحالة عبر التقييمات. اجعل severity وteam ثابتين للتوجيه، وضع القيم المتغيرة في annotations كي لا تتغير fingerprint. التجميع والكتم وinhibition وظائف Alertmanager لا ملف rule وحده.

groups:
- name: host-baseline
  rules:
  - alert: NodeScrapeUnavailable
    expr: up{job="node"} == 0
    for: 5m
    labels:
      severity: page
      team: infrastructure
    annotations:
      summary: "Exporter unreachable on {{ $labels.instance }}"
      runbook_url: "https://ops.example.test/runbooks/node-down"
  - alert: RootFilesystemLowSpace
    expr: (node_filesystem_avail_bytes{job="node",mountpoint="/",fstype!~"tmpfs|overlay"} / node_filesystem_size_bytes{job="node",mountpoint="/",fstype!~"tmpfs|overlay"}) < 0.10
    for: 10m
    labels:
      severity: warning
      team: infrastructure
    annotations:
      summary: "Root filesystem below 10% free on {{ $labels.instance }}"
      runbook_url: "https://ops.example.test/runbooks/disk-space"

٣. تحقّق من النتيجة

تحقق من الصياغة عبر promtool واختبر rules في CI. أحدث فشلاً قصيراً وآخر مستمراً في الاختبار؛ الثاني فقط يجب أن يُرسل page. افحص التعافي ورسالة resolved أيضاً. rule بحالة firing بلا تسليم فعلي ليس تنبيهاً ناجحاً تشغيلياً.

promtool check rules /etc/prometheus/rules/host-baseline.yml
promtool check config /etc/prometheus/prometheus.yml
# Use your deployment's supported reload after all checks pass.
# Confirm Pending -> Firing -> Resolved and actual receiver delivery.

التراجع والوقاية

استعد rule المعدّل وأعد التحميل بالطريقة المدعومة؛ الكتم الدائم ليس إصلاحاً. عاير الحدود بالسعة والنمو وتغطية المناوبة. لا تكشف رموز المستقبِل في ملفات عامة أوالسجلات. يحتاج نظام المراقبة نفسه مسار إنذار مستقلاً ومختبراً.

لفحص الجوانب المرتبطة بهذا المسار، راجع سجلات journald الدائمة والاحتفاظ الآمن في Linux وHealthcheck في Docker: التشغيل لا يعني الصحة.

المراجع التقنية