Altı Coğrafi Konumdan Eşzamanlı İzleme ve Yalnızca Biri Başarısız Olursa Sorunun Tam Olarak Nerede Olduğunu Bilirim

Sabah, Singapur'da bir müşteriden gelen destek talebinden başladı - web sitesi çökmüş durumda. Frankfurt'ta tek bir sunucudan çalışan izleme panosu her şeyi yeşil gösteriyordu. Tüm kontroller geçiyor. Yanıt süreleri normal. Site ayakta. Fakat değildi - en azından belirli Asya ağ yolları üzerinden yönlendirilen herkes için ayakta değildi. Sorun, Güneydoğu Asya'dan gelen trafiği etkileyen ancak Avrupa ve Kuzey Amerika erişimini tamamen etkilemeyen bir bölgesel yönlendirme sorunu oldu. Dünyadaki tek vantaj noktasından Almanya'dan sadık bir şekilde kontrol yapan izleme sistemi, bulunduğu yerden göremediği bir sorunu tespit etmenin hiçbir yolu yoktu.

Bu olay ve sonraki bir yıl boyunca meydana gelen benzeri birkaç olay, tek konum izlemesinin temel bir sınırlamasını gösterdi - geriye bakıldığında açık görünse de şaşırtıcı şekilde göz ardı etmesi kolay. İnternet, tüm yolların aynı hedefe aynı altyapı üzerinden götürdüğü tekdüze bir ağ değildir. Bu, birbirinden bağlı otonom sistemler, peering anlaşmaları, CDN kenar düğümleri ve DNS çözümleyicilerinin ağıdır - bunlar farklı coğrafi bölgelerdeki kullanıcılar için farklı deneyimler yaratır. Bir web sitesi Avrupa'dan mükemmel şekilde erişilebilir olabilken, aynı anda Asya'nın bazı bölgelerinden ulaşılamaz, Kuzey Amerika'dan tam işlevsel olabilken, Güney Amerika'dan paket kaybı yaşayabilir ve bir şehirden hızlı olabilken, aynı ülkenin başka bir şehrinden yavaş olabilir.

uptime.yeb.to'nun uyguladığı çözüm, birden fazla kıta yayılmış altı coğrafi konumdan eşzamanlı izlemedir. Her kontrol, aynı zaman penceresinde altı konumdan da çalışır ve sonuçlar, sorunun küresel mi yoksa bölgesel mi olduğunu belirlemek için karşılaştırılır. Altı konumun tümü başarısızlık bildirdiğinde, site gerçekten her yerde çökmüştür. Bir veya iki konum başarısızlık bildirirken diğerleri başarı gösterdiğinde, sorun bölgesedir ve başarısız konumlar derhal sorunun nerede olduğunu daraltır. Bu coğrafi üçgenleme, izlemeyi ikili bir "ayakta veya çökmüş" sinyalinden, internetin gerçekten nasıl çalıştığını yansıtan incelikli bir kullanılabilirlik haritasına dönüştürür.

Tek Konum İzlemesi Neden Tehlikeli Kör Noktalar Yaratır

Çoğu uptime izleme hizmeti, bilinen pek çok hizmeti de içererek, tek bir konumdan kontrol etme veya birincil izleme bölgesini seçme yapabilir. Bu yaklaşım, köken sunucusunun çöktüğü ve hiçbir yerde kimsenin siteye erişemediği tam kesintileri tespit etmek için mükemmel şekilde işe yarar. Bu feci başarısızlıklar için, tek bir sonda yeterlidir çünkü sorun evrenseldir. Ancak tam sunucu hatası, kesintinin yalnızca bir kategorisidir ve giderek bile en yaygın olanı değildir. CDN'ler, yük dengeleyicileri, DNS yük devretme ve kenar önbelleğe alma katmanları içeren modern web altyapısı, toplam kesintileri nadir hale getirmiş, kısmi, bölgesel ve aralıklı arızaları daha sık hale getirmiştir.

CDN ile ilgili sorunlar, bölgesel tutarsızlıkların en yaygın kaynağıdır. İçerik dağıtım ağları, içeriği dünya çapında dağılmış kenar sunucularında önbelleğe alarak çalışır ve her kenar sunucusu, coğrafi açıdan ona yakın ziyaretçilere hizmet verir. Belirli bir bölgedeki bir CDN kenar düğümü, donanım hatası, yapılandırma hatası veya kapasite aşması ne olursa olsun sorunlarla karşılaştığında, bu kenar düğümüne yönlendirilen ziyaretçiler bozulmuş performans veya tam kullanılamama yaşarken, sağlıklı kenar düğümlerine yönlendirilen ziyaretçiler hiçbir sorun görmez. Tesadüfen sağlıklı bir kenar düğümüne yönlendirilen tek bir konum monitörü her şeyi normal olarak gösterecek, ancak tüm bölge değerinde ziyaretçiler etkilenecektir.

DNS yayılım sorunları başka bir bölgesel başarısızlık sınıfı oluşturur. DNS kayıtları güncellendiğinde, değişiklikler TTL değerlerine, çözümleyici önbelleğe alma davranışına ve her bölgenin izlediği belirli çözüm yoluna bağlı olarak küresel DNS altyapısı aracılığıyla farklı hızlarda yayılır. Yayılım penceresi sırasında, bazı bölgeler etki alanını eski IP adresine çözerken, diğerleri yenisine çözer. Eski IP artık trafiğe hizmet vermiyorsa, hala eski IP'ye işaret eden bölgeler bir kesinti yaşarken, yeni IP'ye zaten işaret eden bölgeler bunu asla görmez. Çok bölgeli izleme kurulumu bunu hemen tespit eder çünkü bazı sondalar başarısız olurken diğerleri başarılı olur, sunucu seviyesi sorunlardan farklı olan ve DNS yayılım sorunlarına özgü bir model oluşturur.

Altı Sonda ve Her Başarısızlık Modeli Ne Ortaya Koyar

Altı eşzamanlı sondanın gücü yalnızca başarısızlıkları tespit etmekle değil, aynı zamanda bunları teşhis etmekle ilgilidir. Farklı başarısızlık modelleri farklı sorun kategorilerine karşılık gelir ve deneyimli bir operatör, bir terminal penceresi açmadan önce izleme modelinden genellikle kök nedeni tanımlayabilir. Altı sondanın tümü bağlantı zaman aşımı hataları ile eşzamanlı olarak başarısız olduğunda, köken sunucu veya ağı muhtemelen ulaşılamaz durumda, sunucu çökmesi, barındırma sağlayıcısı kesintisi veya veri merkezi düzeyinde ağ sorunu olduğunu gösterir. Altı sondanın tümü 502 veya 503 gibi HTTP hata yanıtları ile başarısız olduğunda, sunucu erişilebilir fakat uygulamada sorun vardır, dağıtım hatası, veritabanı hatası veya uygulama seviyesi çökmesi olduğunu gösterir.

Bir veya iki sonda başarısız olurken diğerleri başarılı olduğunda, model bölgesel bir hikaye anlatır. Başarısız sondalar Asya'dayken Avrupa ve Kuzey Amerika sondaları başarılı olduğunda, sorun neredeyse kesinlikle Asya ile köken sunucu arasındaki ağ yolunda, CDN kenarında, geçiş sağlayıcısında veya bölgesel DNS çözümleyicide olur. Başarısız sonda, köken sunucuyla aynı bölgedeyken uzak sondalar başarılı olduğunda, sorun barındırma sağlayıcısının yerel ağ düzeyinde olabilir - uzak sondalar köken hatası maskeleyen CDN önbelleğinden sunuluyor. Her model tanı alanını daraltır ve çözüme kadar geçen süreyi hızlandırır.

Sondalar arasında yanıt süresi değişimleri daha az net ancak eşit derecede değerli bir sinyal sağlar. Altı sondanın tümü başarılı yanıtlar gösterse bile, bir bölgenin yanıt süresi tarihsel temellerine kıyasla iki katına çıkmışsa, o bölge tam bir hataya ilerlemeyen bir bozulmayı yaşıyor demektir. Bozulmayı kesintiye dönüşmeden önce yakalamak, çok bölgeli izlemenin en değerli yeteneklerinden biridir, çünkü operatöre o bölgedeki kullanıcılar destek talebine başlamadan önce araştırma ve müdahale yapacak bir zaman penceresi verir. İzleme panosu, tek bir zaman çizelgesinde altı konumun tümü için yanıt sürelerini gösterir, bölgesel bozulma modellerini bir bakışta görünür kılar.

Coğrafi Yönlendirme ve Gizlediği Sorunlar

Modern internet altyapısı, çoğunlukla kullanıcıları konumlarına göre en yakın mevcut sunucuya veya CDN kenara yönlendirerek coğrafi yönlendirmeyi yaygın şekilde kullanır. Bu yönlendirme, genel olarak faydalıdır çünkü gecikmeyi azaltır ve çoğu kullanıcı için performansı iyileştirir. Ancak bu, bir istekte bulunduğu noktadan B noktasına aldığı yolun istekte bulunduğu yere göre dramatik şekilde değiştiği anlamına gelir. New York'ta bir izleme sondası ve Tokyo'da bir izleme sondası, aynı web sitesine ulaşmak için tamamen farklı ağ yolları alır - farklı ISP'ler, farklı peering borsaları ve farklı CDN kenarları aracılığıyla geçer. Bir yolda herhangi bir yerde bir tıkanıklık, diğerinden görülmez olabilir.

Çoğu büyük CDN ve DNS sağlayıcısı tarafından kullanılan Anycast yönlendirmesi, başka bir karmaşıklık katmanı ekler. Anycast ile, aynı IP adresi birden fazla coğrafi konumdan duyurulur ve internetin yönlendirme altyapısı her isteği en yakın duyuran konuma yönlendirir. Bu, Avrupa'dan bir DNS çözümlemesi veya CDN isteğinin bir Avrupa sunucusuna ulaştığı ancak Asya'dan aynı isteğin bir Asya sunucusuna ulaştığı anlamına gelir - her iki durumda da IP adresi aynıdır. Asya anycast düğümünde bir sorun olursa, Asya sondaları bunu tespit eder çünkü istekleri hiçbir zaman aynı fiziksel sunucuya ulaşmazken Avrupa sondaları bunu tespit edemez.

BGP yönlendirme değişiklikleri, belirli bölgeler için geçici veya uzun süreli ulaşılabilirlik sorunlarına neden olabilir. Border Gateway Protocol yolu geri çekildiğinde veya değiştirildiğinde, daha önce doğrudan bir yol üzerinden akan trafik, daha uzun, potansiyel olarak tıkanmış yollar üzerinden yeniden yönlendirilebilir - gecikme artışı ve bazen paket kaybına neden olur. Bu BGP olayları yaygındır - küresel ölçekte günde binlerce kez meydana gelir - ve bunların etkisi doğası gereği bölgesedir. Çok bölgeli bir izleme sistemi, bu olayları dağıtılmış sondaları aracılığıyla ilk elden yaşar, tek bir vantaj noktasına güvenmek yerine her bölgede etkisini bağımsız olarak tespit eder.

Tespit Etmekten Eyleme Geçmeye ve Neyi Düzeltmesi Gerektiğini Bilmeye

Harekete geçirilebilir bilgi olmadan tespit, çözüme işaret etmeden gürültü yapan bir alarmdan ibarettir. Çok bölgeli izlemenin değeri, yalnızca bir şeyin yanlış olduğunu söylemekten ötesine uzanır. Size bunun nerede yanlış olduğunu ve başarısızlık modelinin ne tür yanlış olduğunu söyler. Bu tanı bağlamı, olay müdahale sürecini bir günlük ve pano aracılığıyla çılgınca arayışından, kök nedeni hakkında güçlü bir hipotezle başlayan hedeflenen bir araştırmaya dönüştürür.

İzleme uyarıları tek bir bölgenin başarısız olduğunu, diğerlerinin sağlıklı kaldığını gösterdiğinde, operatör araştırmasını derhal o bölgenin ağ yoluna odaklayabilir. O bölgedeki CDN kenarı sorunları bildiriyor mu? Bu alanda geçiş sağlayıcılarını etkileyen aktif bir BGP olayı var mı? O bölge için DNS çözümleyici eski veya yanlış bir kaydı önbelleğe almış mı? Bu soruların her biri hızlı şekilde yanıtlanabilir ve yanıtlar belirli iyileştirme eylemlerine yol açar: o bölge için CDN önbelleğini temizleme, geçiş sağlayıcısına iletişim kurma veya DNS yenilemesini zorla çalıştırma. Çok bölgeli izleme tarafından sağlanan coğrafi bağlam olmadan, operatör körü körüne araştırma yapacak, her olası başarısızlık noktasını sorumlı olma olasılığı yüksek olanlar yerine kontrol edecektir.

Uptime izleme platformu, çok bölgeli kontrol sonuçlarını, uzamsal bağlama zamansal bağlam ekleyen tarihsel verilerle eşleştirir. Aynı bölge, önceki fırsatlarda günün aynı saatinde başarısızlığı yaşadıysa, bu bir geçiş sağlayıcısında planlanan bakım penceresi veya tepe saatlerinde kapasite sorunlarına neden olan tahmin edilebilir bir trafik modelini önerir. Başarısızlık, tarihsel bir önceki olmayan ilk olay ise, anında dikkat gerektiren akut bir olayın daha muhtemel olduğu anlamına gelir. Coğrafi ve zamansal bağlamın kombinasyonu, operatörlere neler olduğu, nerede olduğu ve daha önce olup olmadığı hakkında mümkün olan en eksiksiz resmi verir.