Akıllı Alarm Gruplama

Bir alarm fırtınasının ilk alarmı hemen gider; fırtınanın geri kalanı, monitörlerin ortak noktasını söyleyen tek bir mesaj olarak gelir. Her planda; Professional ve Enterprise'da yapay zekânın yazdığı bir ipucuyla.

Hatalı bir dağıtım, bir DNS değişikliği ya da çöken bir yük dengeleyici aynı dakikada çok sayıda monitörü düşürebilir. Her biri ayrı bir e-posta, SMS ve push gönderirse telefon susmaz ve kimse aslında neyin bozulduğunu anlayamaz.

Akıllı alarm gruplama ilk alarmı olduğu gibi gönderir, fırtınanın geri kalanını tek bir mesajda toplar:

• İlk alarm hemen gider, her kanalda, gruplama yokmuş gibi aynen.
• Aynı hesap ve aynı alıcılar için 60 saniye içinde gelen alarmlar bekletilir.
• Pencere bittiğinde tek bir mesaj olarak gelirler: "3 more monitors are down with the same error; 4 in total" (3 monitör daha aynı hatayla down; toplam 4), monitörlerin ortak noktasıyla birlikte.

Gruplama her planda açıktır: Free, Hobby, Starter, Professional ve Enterprise.

Akış: alarm fırtınasından iki mesaja

flowchart LR
    A1[Monitör 12, DOWN] --> First[İlk alarm<br/>hemen gider]
    A2[Monitör 13, DOWN] --> Win
    A3[Monitör 14, DOWN] --> Win
    A4[Monitör 47, DOWN] --> Win
    First --> Win[60 saniyelik pencere<br/>aynı hesap, aynı alıcılar]
    Win --> Msg[Tek mesaj:<br/>3 more monitors are down; 4 in total<br/>+ ortak noktaları]
    Msg --> Decide{Professional ya da<br/>Enterprise mi?}
    Decide -- Hayır --> Out((Kanallar))
    Decide -- Evet --> AI[Likely cause · AI-generated,<br/>verify before acting]
    AI --> Out

Pencerede yalnızca bir monitör düşerse başka bir şey gönderilmez: hikâyenin tamamı ilk alarmdır.

Hangi alarmlar gruplanır

Dört alarm türü fırtına hâlinde gelir, çünkü bozulan tek bir bağımlılık birçok monitörü birlikte düşürür:

• kesintiler (down)
• düzelmeler (recovery)
• sertifika uyarıları
• yavaş yanıtlar

Her tür kendi içinde gruplanır: bir sertifika uyarısı kesinti grubuna asla katılmaz. Diğer her şey eskisi gibi tek başına gider: flapping bildirimleri, alan adı süresi, güvenlik notu düşüşleri ve SLO tükenme uyarıları.

Şunlar da asla bekletilmez: teslim edilemediği için yeniden denenen alarmlar, nöbet eskalasyonu çağrıları ve gruplanıp gruplanmayacağına bir saniye içinde karar verilemeyen her alarm (ayar okunamıyor, hesap ya da alıcıları çözülemiyor). Şüphede alarm tek başına, hemen gider. Gruplama hiçbir alarmı düşürmez.

Hangi alarmlar aynı pencereyi paylaşır

Aynı hesaba ait olan ve aynı kişilere aynı yoldan ulaşacak alarmlar aynı pencereyi paylaşır: aynı kanallar, aynı alıcılar ve aynı sohbet webhook'ları. Farklı kişileri bilgilendiren monitörler asla aynı mesajı paylaşmaz.

Hata anahtarın parçası değildir. Çöken tek bir yük dengeleyicinin arkasında kimi kontroller zaman aşımına uğrar, kimi reddedilir, kimi 502 alır. Anahtar hata olsaydı bu fırtına her hata için ayrı bir pencere açardı ve her pencerenin kendi anlık alarmı olurdu. Bunun yerine ilk alarmı ve geri kalanları içeren tek bir mesajı alırsınız; mesaj da hepsinin aynı şekilde mi düştüğünü söyler.

Pencere

Pencere ilk alarmla başlar ve 60 saniye sürer. Bu sürede gelen alarmlar bekletilir; pencere bitince tek mesaj olarak gider. Pencere bittikten sonra gelen bir alarm yeni bir pencere açar ve o pencerenin ilk alarmı olarak hemen gider.

Pencereler UptimeWarden'ın tüm bildirim sunucuları arasında ortaktır; birden fazla sunucuda işlenen bir fırtına da tek bir mesaj üretir.

Gruplu mesaj ne söyler

• Başlık, örneğin "3 more monitors are down with the same error; 4 in total"; düzelmeler için "5 more monitors are back up; 6 in total". Mesajlar İngilizcedir.
• İlk alarm, zaten aldığınız alarm.
• Diğer monitörler, adlarıyla (ilk 20'si, sonra "and 12 more").
• Ortak noktaları: aynı hata, durum kodu, sunucu, IP adresi, CDN, sertifika sağlayıcı, kontrol bölgesi ya da servis grubu, tanımladığınız bir bağımlılık veya servis haritanızdaki bir bağlantı; her biri kaç monitörün paylaştığıyla birlikte ("3 of 4", yani 4 monitörden 3'ü). Bir değer, monitörlerin tamamı ya da açık bir çoğunluğu paylaşıyorsa gösterilir. Ortak bir şey yoksa mesaj bunu açıkça söyler; böylece aynı dakikadaki birbiriyle ilgisiz iki arıza tek bir olaymış gibi sunulmaz.
• Doğrulama: kesintilerde diğer kontrol bölgelerinin ne gördüğü.

Bunların hepsi monitörlerinizden ve sonuçlarından hesaplanır, tahmin edilmez.

Kanal kanal

Bu yüzden insanları uyandıran kanallarda (SMS, WhatsApp, push, Telegram ve sesli arama) bir fırtına pencere başına en fazla bir ek mesaja mal olur, ikinci bir aramaya asla.

Sessiz saatler gruba da alarmlarına uygulandığı gibi uygulanır: sessiz saatlerinizde gruplu bir kesinti, uyandıran kanallara yalnızca kesintilerin sessiz saatleri delmesine izin verdiyseniz ulaşır.

Yapay zekâ ipucu (Professional ve Enterprise)

Yapay zekâ alarm özetleri olan planlarda gruplu mesaj, olası neden hakkında kısa bir ipucu ve önerilen bir sonraki adımı taşıyabilir. Göründüğü her yerde AI-generated, verify before acting (yapay zekâ üretti, harekete geçmeden doğrulayın) etiketiyle gelir: canlı bir kesinti hakkında bir modelin tahminidir, bir bulgu değildir.

• Yalnızca pencere bittiğinde istenir; ilk alarm onu asla beklemez.
• Model yaklaşık 6 saniye içinde yanıt vermezse, bütçesi dolduysa ya da hata alırsa gruplu mesaj ipucu olmadan gider.
• Yapay zekâ işleme onayınız ve aylık yapay zekâ bütçenizde yer olması da gerekir.

Modelin gördükleri: monitörlerin adları, hata mesajları, durum kodları, sunucuları ve kontrol bölgeleri, bölgeler arası doğrulama sonucu, monitörlerin ortak noktaları, bu monitörler için son sağlık tahmini eğilimleri ve benzer bir grubun daha önce ne sıklıkla görüldüğü. İstek ya da yanıt gövdelerini ve logları asla görmez.

Gruplamayı kapatma

Gruplama hesabınızda açıkken panoda kısa bir banner onu anlatır:

• Kapat (×): banner'ı bu tarayıcıda gizler. Gruplama açık kalır.
• Turn off: gruplamayı hesabınız için kapatır. Bundan sonra her alarm geldiği anda tek başına gider ve banner kaybolur.

Gruplamayı yeniden açmak için henüz kendi kendinize kullanabileceğiniz bir düğme yok. Hesabınız için yeniden açtırmak isterseniz [email protected] ile iletişime geçin.

Geçmiş grupları görüntüleme (yol haritası)

Gönderilen her gruplu mesaj denetim için kaydedilir. Bunları listeleyen bir pano görünümü yol haritasındadır; arayüz geldiğinde geçmiş hazır olsun diye kayıtlar şimdiden tutulur.

Kısıtlar

• Pencere 60 saniyede sabittir. Değiştirilemez.
• Gruplama hesap düzeyindedir, monitör düzeyinde değil. Farklı alıcılara ya da kanallara bildirim gönderen monitörler asla aynı mesajı paylaşmaz; bir monitörün alarmlarını ayrı tutmanın yolu budur.
• Türler karışmaz. Aynı dakikadaki bir kesinti fırtınası ile bir sertifika fırtınası iki ayrı grup üretir.

Sık sorulan sorular

S: Gruplama alarmlarımı geciktirir mi? C: İlkini değil: gruplama yokmuş gibi hemen gider. Pencere içinde gelen sonraki alarmlar pencere bittiğinde birlikte gelir, ilk alarmdan en fazla bir dakika sonra.

S: Bir kesintide her monitör için telefon araması alır mıyım? C: Hayır. Sesli arama yalnızca fırtınanın ilk alarmı için yapılır; geri kalanı diğer kanallarınızda tek bir mesaj olarak gelir.

S: PagerDuty ya da Opsgenie gruplu mesajı mı alır? C: Hayır. Her alarmı tek başına ve hemen alırlar; böylece her olay onların tarafında eskisi gibi açılıp kapanır.

S: Yapay zekâ ipucu yanlışsa? C: Bu bir ipucudur, yapay zekânın ürettiği açıkça yazar ve üstündeki olguların yerini asla almaz. Harekete geçmeden önce doğrulayın.

İlgili konular

• Eskalasyon Politikaları: çok adımlı nöbet için kademeli dağıtım
• Bakım Pencereleri: planlı kesintilerde alarm susturma
• Kanıt Öncelikli Öneriler: görünür kanıta bağlı öneriler