در این مقاله میخوانید
فرض کنید ارتباط WAN یک شعبه قطع میشود. چند ثانیه بعد این هشدارها ایجاد میشوند:
• Router Unreachable
• Switch Down
• Access Point Down
• Server Down
• Agent Unavailable
• SNMP Unavailable
• Web Service Failed
• Printer Unreachable
اما آیا واقعاً هشت Incident مستقل رخ داده است؟
خیر؛ یک اختلال اصلی یعنی قطع ارتباط شعبه، چندین پیامد ایجاد کرده است.
اگر سامانه مانیتورینگ این تفاوت را تشخیص ندهد، یک خرابی ساده میتواند دهها یا صدها هشدار تولید کند. به این وضعیت Alert Storm گفته میشود.
Alert Storm چه آسیبی ایجاد میکند؟
• هشدار اصلی میان پیامهای فرعی گم میشود.
• تیم NOC زمان بیشتری برای تشخیص Root Cause صرف میکند.
• برای یک Incident چند Ticket ساخته میشود.
• Email و Telegram مملو از هشدار میشوند.
• شاخصهای Incident غیرواقعی میشوند.
• تیم فنی بهتدریج هشدارها را نادیده میگیرد.
این وضعیت به Alert Fatigue منجر میشود؛ یعنی هشدار وجود دارد، اما دیگر کسی به آن اعتماد نمیکند.
1️⃣ Trigger Dependency
Dependency رابطه علت و معلولی میان Triggerها ایجاد میکند.
نمونه:
"Branch Devices → وابسته به → Branch Router/WAN"
اگر Trigger اصلی Router در وضعیت Problem باشد، Zabbix از ایجاد Problemهای وابسته جلوگیری میکند یا آنها را بهعنوان علت مستقل مطرح نمیکند.
کاربردهای رایج:
• Access Switch وابسته به Distribution Switch
• تجهیزات شعبه وابسته به WAN Router
• Application وابسته به Database
• VM وابسته به ESXi Host
• سرویس وابسته به DNS
• لینک Backup وابسته به Interface فیزیکی
Dependency باید براساس توپولوژی واقعی طراحی شود؛ وابستگی نادرست ممکن است یک مشکل واقعی را پنهان کند.
2️⃣ Event Correlation
Correlation برای مرتبطکردن Eventهایی استفاده میشود که از نظر Tag، Host یا منطق عملیاتی با یکدیگر ارتباط دارند.
مثلاً:
• Event جدید، Event قدیمی مرتبط را ببندد.
• رخدادهای دارای Tag یکسان با یک Rule مدیریت شوند.
• Problemهای مرتبط با یک Interface یا Service Correlate شوند.
Tagهایی مانند این بسیار مفید هستند:
"service: vpn"
"site: branch-01"
"interface: wan-primary"
"component: database"
Correlation زمانی مؤثر است که Tagگذاری از ابتدا استاندارد طراحی شده باشد.
3️⃣ Maintenance Period
در زمان Upgrade، Patch، خاموشی برنامهریزیشده یا تغییر شبکه، ایجاد Notification عادی منطقی نیست.
Maintenance مشخص میکند:
• چه Hostهایی تحت تغییر هستند؟
• چه زمانی Maintenance شروع و تمام میشود؟
• آیا جمعآوری داده ادامه داشته باشد؟
• آیا Problemها Suppress شوند؟
دو مفهوم مهم:
🔹 With data collection
جمعآوری داده ادامه پیدا میکند، ولی اعلانهای مربوط به Maintenance کنترل میشوند.
🔹 No data collection
دادهای از Host در زمان Maintenance جمعآوری نمیشود.
در بیشتر تغییرات، ادامه Data Collection ارزشمند است؛ زیرا بعداً میتوان رفتار سیستم حین Change را تحلیل کرد.
4️⃣ Suppression
Suppression به معنای حذف Problem نیست.
Problem میتواند همچنان ثبت و قابل مشاهده باشد، اما Notification یا عملیات مربوط به آن تحت شرایط مشخص اجرا نشود.
این تفاوت مهم است:
• حذف هشدار: از دستدادن Visibility
• Suppression کنترلشده: حفظ رویداد بدون ایجاد مزاحمت عملیاتی
موارد مناسب برای Suppression:
• Maintenance تأییدشده
• اختلال وابسته به Root Cause شناختهشده
• Incident در حال رسیدگی
• شرایط موقت و مستند
Suppression دائمی برای پنهانکردن Triggerهای بد، راهحل محسوب نمیشود.
5️⃣ Tag-Based Actions
ارسال همه هشدارها برای همه افراد اشتباه است.
با Tag میتوان مسیر اعلان را مشخص کرد:
• "team: network" → تیم شبکه
• "team: system" → تیم سیستم
• "team: database" → DBA
• "site: branch-01" → مسئول شعبه
• "service: payroll" → مالک سامانه
• "env: production" → مسیر Escalation اصلی
این کار باعث میشود هشدار درست به فرد درست برسد.
6️⃣ تأخیر منطقی پیش از اعلان
همه Problemها نباید در همان ثانیه اول اعلام شوند.
مثال:
• Packet Loss لحظهای: بررسی طی ۳ تا ۵ دقیقه
• CPU بالا: میانگین ۱۰ دقیقه
• Interface Critical Down: اعلان سریع
• Backup Failed: پس از پایان Window
• Certificate Expiration: هشدار از چند هفته قبل
تأخیر منطقی با نادیدهگرفتن مشکل تفاوت دارد. هدف، حذف نوسان و رخداد گذراست.
7️⃣ طراحی Root Cause و Symptom
در داشبورد حرفهای باید بتوانیم میان این دو تفاوت ایجاد کنیم:
🔴 Root Cause: علت اصلی
🟡 Symptom: پیامد اختلال
مثال:
"WAN Failure → Router Unreachable → Servers Unreachable → Application Unavailable"
تمرکز تیم باید ابتدا بر WAN Failure باشد، نه Restart کردن Application.
Dependency، Tag، Correlation و Service Tree در کنار هم این تصویر را میسازند.
سیاست پیشنهادی کنترل هشدار
برای هر Trigger بپرسید:
1. آیا این Problem قابل اقدام است؟
2. آیا علت اصلی است یا پیامد؟
3. چه مدت باید ادامه داشته باشد؟
4. چه Severity دارد؟
5. چه تیمی مسئول آن است؟
6. آیا Dependency دارد؟
7. در Maintenance چه رفتاری دارد؟
8. چه زمانی Escalate میشود؟
9. Recovery چگونه اعلام میشود؟
10. Runbook آن کجاست؟
معیارهای سنجش کیفیت Alerting
• تعداد Alert روزانه
• درصد هشدارهای کاذب
• تعداد Alertهای تکراری
• تعداد Alert بهازای هر Incident
• زمان تشخیص Root Cause
• درصد هشدارهای بدون مالک
• درصد هشدارهای بدون اقدام
• MTTA و MTTR
• تعداد Problemهای طولانیمدت
• نسبت Problem به Ticket واقعی
کاهش تعداد هشدار همیشه به معنای بهبود نیست؛ هدف، افزایش نسبت Signal به Noise است.
🎯 جمعبندی
سامانه حرفهای بیشترین هشدار را تولید نمیکند؛ دقیقترین هشدار را تولید میکند.
با Dependency، Correlation، Maintenance، Suppression و Tagگذاری استاندارد میتوان بهجای صدها پیام پراکنده، علت اصلی اختلال را به تیم مسئول نشان داد.
در قسمت بعد بررسی میکنیم:
🔜 چگونه Notification و Escalation را طراحی کنیم تا هشدار در زمان مناسب، از مسیر مناسب و به فرد مناسب برسد؟
