Monitorovanie z Šiestich Geolocícií Naraz a Ak Selže Len Jedna, Presne Viem, Kde je Problém

Ráno sa objavil ticket od zákazníka zo Singapuru, že webová stránka nefunguje. Monitoring dashboard, ktorý bežal z jedného servera vo Frankfurte, ukazoval všetko zelené. Všetky kontroly prechádzali. Časy odozvy normálne. Web bol hore. Okrem toho, že nebol hore, aspoň nie pre všetkých, ktorí sa smerovali cez určité ázijské sieťové cesty. Problém sa ukázal byť regionálnym smerovacím problémom u upstream providera, ktorý ovplyvňoval dopravu z Juhovýchodnej Ázie, zatiaľ čo prístup z Európy a Severnej Ameriky zostal úplne neovplyvnený. Monitorovací systém, vernosťou overujúci z jeho jedného vantážneho bodu v Nemecku, nemal spôsob, ako zistiť problém, ktorý nevidel z miesta, kde stál.

Tento incident a niekoľko podobných, ktoré sa vyskytli počas nasledujúceho roka, demonštrovali základné obmedzenie monitorovania z jednej lokality, ktoré sa javí ako zrejmé v spätnom pohľade, ale ktoré je prekvapujúco ľahké prehliadnuť. Internet nie je jednotná sieť, kde všetky cesty vedú do rovnakého cieľa cez rovnakú infraštruktúru. Je to sieť prepojených autonómnych systémov, peering dohôd, CDN edge uzlov a DNS resolverov, ktoré vytvárajú rôzne skúsenosti pre používateľov v rôznych geografických regiónoch. Webová stránka môže byť dokonale dostupná z Európy, zatiaľ čo súčasne je nedostupná z časti Ázie, úplne funkčná z Severnej Ameriky, zatiaľ čo zažíva stratu paketov z Južnej Ameriky, a rýchla z jedného mesta, zatiaľ čo pomalá z ďalšieho mesta v tej istej krajine.

Riešenie, ktoré implementuje uptime.yeb.to, je simultánne monitorovanie zo šiestich geografických lokalít rozšírených na viacerých kontinentoch. Každá kontrola prebieha zo všetkých šiestich lokalít v rovnakom časovom okne a výsledky sa porovnávajú, aby sa určilo, či je problém globálny alebo regionálny. Keď všetkých šesť lokalít hlási zlyhanie, web je naozaj dole všade. Keď jedna alebo dve lokality hlásia zlyhanie, zatiaľ čo ostatné ukazujú úspech, problém je regionálny a miesta zlyhaní okamžite zúžia, kde je problém. Táto geografická triangulácia transformuje monitorovanie z binárneho signálu "hore alebo dole" na nuansovanú mapu dostupnosti, ktorá odráža, ako internet naozaj funguje.

Prečo Monitorovanie z Jednej Lokality Vytvára Nebezpečné Slepé Uhly

Väčšina uptime monitorovacích služieb, vrátane mnohých známych, štandardne kontroluje z jednej lokality alebo umožňuje používateľom vybrať si jednu primárnu monitorovaciu oblasť. Tento prístup funguje dokonale pri detekcii úplných výpadkov, keď je pôvodný server dole a nikto nikde nemôže prístupiť na web. Pri týchto katastrofálnych zlyhantiach je dostatočná jediná sonda, pretože problém je všeobecný. Ale úplné zlyhanie servera je iba jedna kategória výpadku a čím ďalej, tým menej je to ten najpravidelnější. Moderná webová infraštruktúra, s jej vrstvami CDN, load balancerov, DNS failover a edge cachingu, spravila úplné výpadky zriedkavými, zatiaľ čo čiastočné, regionálne a prechodné zlyhania sú čoraz častejšie.

CDN súvisiace problémy sú najčastejším zdrojom regionálnych rozdielov. Siete na doručovanie obsahu fungujú zachovávajúc obsah na edge serveroch rozšírených po celom svete a každý edge server slúži návštevníkom, ktorí sú geograficky najbližšie k nemu. Keď edge uzol CDN v konkrétnej oblasti zažíva problémy, či už hardvérové zlyhanie, chybnu konfiguráciu alebo zaťaženie kapacity, návštevníci smerovaní do tohto edge uzla zažívajú zhoršený výkon alebo úplnú nedostupnosť, zatiaľ čo návštevníci smerovaní do zdravých edge uzlov nevidia žiadny problém. Monitor z jednej lokality, ktorý sa náhodou směruje na zdravý edge uzol, bude hlásať všetko ako normálne, zatiaľ čo ceá región návštevníkov je postihnutá.

Problémy s propagáciou DNS vytvárajú ďalšiu triedu regionálnych zlyhaní. Keď sa DNS záznamy aktualizujú, zmeny sa propagujú cez globálnu DNS infraštruktúru rôznymi rýchlosťami v závislosti od TTL hodnôt, správania pri cachovani resolverov a špecifickej ceste rozlíšenia, ktorú nasleduje každý región. Počas propagačného okna niektoré regióny môžu resolverovať doménu na starú IP adresu, zatiaľ čo ostatné na novú. Ak stará IP už nesluží dopravu, regióny, ktoré na ňu poukazujú, zažívajú výpadok, ktorý regióny už smerované na novú IP nikdy neuvidia. Multi-regionálne monitorovací systém to deteguje okamžite, pretože niektoré sondy zlyhajú, zatiaľ čo ostatné uspejú, čo vytvára vzor, ktorý je charakteristický pre problémy s propagáciou DNS a odlišný od problémov na úrovni servera.

Šesť Sond a Čo Každý Vzor Zlyhania Odhalí

Sila šiestich simultánnych sond nie je iba v detekcii zlyhaní, ale v ich diagnostike. Rôzne vzory zlyhaní korešpondujú s rôznymi kategóriami problémov a skúsený operátor môže často identifikovať koreňovú príčinu z monitorovacieho vzoru samého o sebe predtým, ako otvorí okno terminálu. Keď všetkých šesť sond zlyhá súčasne s chybami connection timeout, pôvodný server alebo jeho sieť je pravdepodobne nedostupná, čo naznačuje pád servera, výpadok hosting providera alebo problém na sieťovej úrovni v dátovom centre. Keď všetkých šesť sond zlyhá s HTTP odpoveďami s chybami ako 502 alebo 503, server je dostupný, ale aplikácia je rozbitá, čo naznačuje chybu nasadenia, zlyhanie databázy alebo zlyhanie na úrovni aplikácie.

Keď jedna alebo dve sondy zlyhajú, zatiaľ čo ostatné uspejú, vzor rozpráva regionálny príbeh. Ak zlyhajúce sondy sú v Ázii, zatiaľ čo európske a severoamerické sondy uspejú, problém je takmer určite v sieťovej ceste medzi Áziou a pôvodným serverom, či už na CDN edge, transit providerovi alebo regionálnom DNS resolver. Ak zlyhajúca sonda je v rovnakom regióne ako pôvodný server, zatiaľ čo vzdialené sondy uspejú, problém môže byť na lokálnej sieťovej úrovni hosting providera, kde vzdialené sondy slúžia z CDN cache, ktorá maskuje zlyhanie pôvodu. Každý vzor zúži diagnostické pole a urýchli čas na rozlíšenie.

Variácie času odozvy medzi sondami poskytujú subtílnejší, ale rovnako cenný signál. Ak všetkých šesť sond ukazuje úspešné odpovede, ale čas odozvy jedného regiónu sa zdvojnásobil v porovnaní so svoje historickými údajmi, ten región zažíva zhoršenie, ktoré ešte nepokročilo do úplného zlyhania. Chytenie zhoršenia predtým, ako sa stane výpadkom, je jednou z najcennejších schopností multi-regionálneho monitorovania, pretože dáva operátorovi časové okno na vyšetrovanie a zásah predtým, ako používatelia v tomto regióne začnú posielať support tickety. Monitorovací dashboard zobrazuje časy odozvy pre všetkých šesť lokalít na jednej časovej osi, čo robí regionálne vzory zhoršenia viditeľnými na prvý pohľad.

Geografické Smerovanie a Problémy, Ktoré Skrýva

Moderná internetová infraštruktúra rozsiahle využíva geografické smerovanie, smerujúc používateľov na najbližší dostupný server alebo CDN edge na základe ich umiestnenia. Toto smerovanie je všeobecne prospešné, pretože znižuje latenciu a zlepšuje výkon pre väčšinu používateľov. Ale to tiež znamená, že cesta, ktorú request vezme z bodu A do bodu B, sa dramaticky líši v závislosti od toho, kde je bod A. Monitoring sonda v New Yorku a monitoring sonda v Tokiu budú brať úplne odlišné sieťové cesty, aby dosiahli tú istú webovú stránku, prechádzajúc cez rôznych poskytovateľov internetu, rôzne peering exchange a rôzne CDN edge. Prekážka kdekoľvek na jednej ceste môže byť neviditeľná z druhej.

Anycast smerovanie, ktoré používa väčšina hlavných CDN a DNS providerov, pridáva ďalšiu vrstvu zložitosti. S anycastom sa rovnaká IP adresa oznamuje z viacerých geografických lokalít a internetová infraštruktúra smerovača smeruje každý request na najbližšie oznamujúce miesto. To znamená, že DNS rozlíšenie alebo CDN request z Európy dosahuje európsky server, zatiaľ čo rovnaký request z Ázie dosahuje ázijský server, aj keď je IP adresa v oboch prípadoch identická. Ak má ázijský anycast uzol problém, ázijské sondy ho detegujú, zatiaľ čo európske sondy nemôžu, pretože ich requesty nikdy nechvátajú na rovnaký fyzický server.

Zmeny BGP smerovacia môžu spôsobiť dočasné alebo predĺžené problémy s dosahom pre konkrétne regióny. Keď je cesta border gateway protocol odňatá alebo zmenená, dopravu, ktorá predtým tiekla cez priamu cestu, môže byť prevedená cez dlhšie, potenciálne zacpané cesty, zvyšujúc latenciu a niekedy spôsobujúce stratu paketov. Tieto BGP udalosti sú spoločné, vyskytujú sa tisícky krát denne po celom svete a ich vplyv je podľa povahy regionálny. Multi-regionálny monitorovací systém prežíva tieto udalosti na vlastnej koži cez svoje distribuované sondy, detegujúc vplyv na každý región nezávisle namiesto spoliehania sa na jediný vantážny bod, ktorý môže alebo nemusí byť postihnutý.

Od Detekcie k Akcii a Vedenie, Čo Treba Opraviť

Detekcia bez akčných informácií je iba alarm, ktorý vydáva zvuk bez toho, aby smeroval k riešeniu. Hodnota multi-regionálneho monitorovania presahuje povedanie vám, že je niečo zlé. Vám povie, kde je zlé a prostredníctvom vzoru zlyhania naznačuje, aký druh zlého to je. Tento diagnostický kontext transformuje proces odozvy na incident z zúrivého prehľadávania logov a dashboardov na cielený výskum, ktorý začína silnou hypotézou o koreňovej príčine.

Keď monitorovanie upozornenia ukazujú, že jeden región zlyhal, zatiaľ čo ostatní ostávajú zdraví, operátor môže okamžite zamerať svoj výskum na sieťovú cestu daného regiónu. Hlási CDN edge v tom regióne problémy? Je tam aktívny BGP incident ovplyvňujúci transit providerov v tej oblasti? Cachoval DNS resolver pre ten región zastaraný alebo nesprávny záznam? Každá z týchto otázok môže byť odpovedaná rýchlo a odpovede vedú na špecifické nápravné opatrenia: vyčistiť CDN cache pre ten región, kontaktovať transit providera alebo vynútiť obnovenie DNS. Bez geografického kontextu poskytovaného multi-regionálnym monitorovaním by operátor vyšetroval slepá, kontrolujúc každý možný bod zlyhania namiesto tých s najväčšou pravdepodobnosťou zodpovednosti.

Platforma uptime monitorovania spáruje výsledky multi-regionálnej kontroly s historickými údajmi, ktoré pridávajú časový kontext k priestorovému kontextu. Ak rovnaký región zažil zlyhania v rovnaký čas dňa pri predchádzajúcich príležitostiach, to naznačuje opakovaný problém, ako napríklad naplánované okno údržby u transit providera alebo predpovedateľný vzor dorastu, ktorý spôsobuje kapacitné problémy počas špičkovej hodnoty. Ak je zlyhanie prvým výskytom bez historického preceendu, je to s väčšou pravdepodobnosťou akútny incident, ktorý vyžaduje okamžitú pozornosť. Kombinácia geografického a časového kontextu dáva operátorom najviac úplný možný obrázok toho, čo sa deje, kde sa to deje a či sa to stalo skôr.