جمعآوری داده بدون تحلیل آن ارزش عملیاتی زیادی ندارد. Itemها مقادیر را جمعآوری میکنند، اما این Trigger است که مشخص میکند چه زمانی وضعیت از حالت طبیعی خارج شده است.
بااینحال، هر عبور لحظهای از یک Threshold نباید بهعنوان Incident اعلام شود.
یک Trigger ضعیف میتواند صدها هشدار کاذب تولید کند؛ یک Trigger حرفهای باید مشکل واقعی، پایدار و قابل اقدام را تشخیص دهد.
Trigger چگونه کار میکند؟
Trigger یک عبارت منطقی است که مقدار یک یا چند Item را ارزیابی میکند.
اگر نتیجه Expression برابر True شود:
"OK → PROBLEM"
و پس از عادیشدن شرایط:
"PROBLEM → OK"
برای مثال:
"avg(/Server01/system.cpu.util,10m)>90"
یعنی اگر میانگین مصرف CPU در ده دقیقه گذشته بیشتر از ۹۰ درصد باشد، Problem ایجاد شود.
استفاده از میانگین دهدقیقهای معمولاً منطقیتر از بررسی آخرین مقدار است؛ زیرا جهش چندثانیهای CPU الزاماً Incident نیست.
توابع پرکاربرد
🔹 "last()"
آخرین مقدار دریافتشده
🔹 "avg()"
میانگین مقادیر در یک بازه
🔹 "min()"
کمترین مقدار در بازه
🔹 "max()"
بیشترین مقدار در بازه
🔹 "count()"
تعداد مقادیری که با شرط مشخص مطابقت دارند
🔹 "change()"
میزان تغییر نسبت به مقدار قبلی
🔹 "nodata()"
تشخیص نرسیدن داده
🔹 "timeleft()" و "forecast()"
برآورد زمان رسیدن به آستانه یا پیشبینی روند
انتخاب تابع باید با ماهیت Metric هماهنگ باشد. برای وضعیت یک Service ممکن است "last()" مناسب باشد، اما برای CPU، Latency یا Packet Loss معمولاً تحلیل یک بازه زمانی نتیجه بهتری میدهد.
Trigger باید پایدار باشد
این Trigger را در نظر بگیرید:
"last(/Server01/system.cpu.util)>90"
با یک جهش کوتاه CPU، Problem ایجاد و چند ثانیه بعد Recovery صادر میشود. اگر این اتفاق تکرار شود، با Flapping و هشدارهای متعدد روبهرو میشویم.
نسخه مناسبتر:
"avg(/Server01/system.cpu.util,10m)>90"
یا طراحی چندمرحلهای:
• Warning: میانگین CPU بیشتر از ۸۰٪ طی ۱۵ دقیقه
• High: میانگین CPU بیشتر از ۹۰٪ طی ۱۰ دقیقه
• Disaster: مصرف بیشتر از ۹۵٪ همراه با اختلال سرویس
Severity بالاتر باید نشاندهنده تأثیر بیشتر باشد؛ نه صرفاً عدد بزرگتر.
Recovery Expression و Hysteresis
اگر Trigger در ۹۰٪ فعال و دقیقاً زیر ۹۰٪ بازیابی شود، نوسان بین ۸۹ و ۹۱ درصد چندین Event تولید میکند.
میتوان شرط Problem و Recovery را جدا کرد:
• ایجاد Problem: میانگین CPU بیش از ۹۰٪ برای ۱۰ دقیقه
• Recovery: میانگین CPU کمتر از ۸۰٪ برای ۵ دقیقه
فاصله میان آستانه ایجاد و بازیابی، نوعی Hysteresis ایجاد میکند و از Flapping جلوگیری میشود.
Thresholdها را با Macro مدیریت کنید
بهجای قراردادن عدد ثابت داخل تمام Triggerها، از User Macro استفاده کنید:
"{$CPU.UTIL.WARN}"
"{$CPU.UTIL.HIGH}"
"{$FS.FREE.MIN.WARN}"
"{$PING.LOSS.MAX.WARN}"
مزایا:
✅ تغییر Threshold بدون ویرایش Template
✅ تعریف مقدار متفاوت برای Hostهای خاص
✅ استانداردسازی تنظیمات
✅ استفاده از Context برای Interface یا File System
✅ نگهداری و Audit سادهتر
ممکن است آستانه Disk برای Database Server با File Server یا Test Server متفاوت باشد.
Severity باید چه معنایی داشته باشد؟
🔵 Information
رویداد اطلاعرسانی، بدون نیاز فوری به اقدام
🟡 Warning
شرایط غیرعادی که باید بررسی شود
🟠 Average
اختلال محدود یا خطر نزدیک
🔴 High
تأثیر جدی بر سرویس یا Redundancy
🚨 Disaster
قطعی سرویس حیاتی یا بحران گسترده
Severity را براساس Business Impact تعیین کنید، نه صرفاً نوع تجهیز. قطع یک Interface بلااستفاده Disaster نیست؛ اما قطع Uplink اصلی ممکن است Disaster باشد.
Tagگذاری Triggerها
هر Trigger مهم باید Tagهای استاندارد داشته باشد:
"service: active-directory"
"site: branch-01"
"team: network"
"component: wan"
"scope: production"
Tagها در موارد زیر استفاده میشوند:
• Action و Notification
• Event Correlation
• Service Monitoring
• Permission
• Dashboard
• گزارشگیری
• اتصال به Ticketing System
بدون Tag Standard، مدیریت هزاران Problem دشوار خواهد شد.
وابستگیها را تعریف کنید
اگر Router شعبه Down شود، هشدارهای تجهیزات پشت آن نباید تیم NOC را غرق کنند.
Triggerهای Switch، Server و Access Point باید به Trigger ارتباط Router یا WAN وابسته باشند.
با این طراحی، مشکل اصلی برجسته میشود و پیامدهای آن هشدار مستقل ایجاد نمیکنند.
ویژگیهای یک Trigger حرفهای
☑️ نام واضح و قابل فهم
☑️ Threshold مبتنی بر Baseline
☑️ بازه زمانی منطقی
☑️ Recovery مناسب
☑️ Severity براساس تأثیر
☑️ Tag استاندارد
☑️ Dependency
☑️ Description و Operational Data
☑️ Runbook یا URL مرتبط
☑️ تست Problem و Recovery
☑️ مالک مشخص برای رسیدگی
نام Trigger باید بگوید چه چیزی، کجا و با چه شدتی دچار مشکل شده است.
اشتباهات رایج
❌ استفاده از "last()" برای تمام Metricها
❌ Threshold یکسان برای تمام Hostها
❌ Severity بالا برای هر هشدار
❌ نداشتن Recovery Expression
❌ نادیدهگرفتن Flapping
❌ ساخت Trigger بدون Tag
❌ نبودن Dependency
❌ هشدار برای Metric غیرقابل اقدام
❌ تستنکردن وضعیت Recovery
❌ کپی Trigger بدون شناخت رفتار سرویس
قاعده مهم:
اگر تیم فنی نمیداند پس از دریافت یک هشدار چه اقدامی انجام دهد، احتمالاً آن Trigger به بازطراحی نیاز دارد.
🎯 جمعبندی
Trigger خوب فقط عبور از یک عدد را تشخیص نمیدهد؛ پایداری مشکل، تأثیر سرویس، وابستگیها و امکان اقدام را نیز در نظر میگیرد.
در قسمت بعد بررسی میکنیم:
🔜 چگونه با Dependency، Correlation، Tag، Maintenance و Suppression از Alert Storm جلوگیری کنیم؟
