Spolehlivost v Azure Data Exploreru

Azure Data Explorer je analytická služba pro ingestování, ukládání a dotazování velkých objemů dat s nízkou latencí. Běžně se používá pro analýzy protokolů, telemetrii a úlohy časových řad, které vyžadují rychlé dotazování u velkých datových sad.

Při používání Azure je spolehlivost sdílenou odpovědností. Microsoft nabízí celou řadu možností, které podporují odolnost a obnovení. Zodpovídáte za pochopení toho, jak tyto možnosti fungují ve všech službách, které používáte, a výběrem možností, které potřebujete ke splnění vašich obchodních cílů a cílů dostupnosti.

Tento článek popisuje, jak zajistit odolnost Azure Data Exploreru vůči různým potenciálním výpadkům a problémům, včetně přechodných chyb, selhání zón dostupnosti a selhání v celé oblasti. Popisuje také možnosti zálohování a obnovení a odolnost vůči údržbě služeb a zvýrazňuje klíčové informace o smlouvě o úrovni služeb Azure Data Exploreru (SLA).

Doporučení pro produkční nasazení pro spolehlivost

V případě produkčních úloh doporučujeme provést následující kroky ke zlepšení spolehlivosti clusteru Azure Data Exploreru:

• Nasadit celý klastr Azure Data Explorer poskytuje bezplatné clustery pro účely zkušební verze. Pro produkční úlohy nasaďte úplný cluster.

• Povolte podporu zóny dostupnosti. Azure Data Explorer podporuje zóny dostupnosti. Když povolíte podporu zón dostupnosti, služba distribuuje výpočetní uzly napříč několika zónami dostupnosti a ukládá data pomocí zónově redundantního úložiště (ZRS). Tato konfigurace zlepšuje odolnost proti chybám zóny dostupnosti.

Přehled architektury spolehlivosti

Tato část popisuje některé důležité aspekty fungování služby, které jsou z hlediska spolehlivosti nejrelevantní. Tato část představuje logickou architekturu, která obsahuje některé prostředky a funkce, které nasazujete a používáte. Popisuje také fyzickou architekturu, která poskytuje podrobnosti o tom, jak služba funguje v zákulisí.

Logická architektura

Primárním prostředkem, který nasadíte, je cluster, který představuje infrastrukturu, kterou potřebujete k ingestování, ukládání a dotazování dat. V clusteru vytvoříte databáze a tyto databáze obsahují tabulky.

Diagram znázorňující cluster Azure Data Explorer, který obsahuje dva oddíly databáze umístěné vedle sebe Vlevo je rámeček označený jako databáze a uvnitř jsou tři samostatné rámečky tabulek uspořádané svisle pod sebou, přičemž každý je označen jako tabulka. Vpravo je druhý rámeček s označením „database“ a uvnitř jsou dva rámečky tabulek naskládané svisle pod sebou, každý také označený jako „table“. Diagram znázorňuje hierarchii, ve které je cluster kontejnerem nejvyšší úrovně, každá databáze je podřízený kontejner v rámci clusteru a tabulky jsou podřízené objekty v rámci každé databáze. Levé a pravé databáze jsou paralelními partnerskými uzly ve stejném clusteru a mohou obsahovat různé počty tabulek.

Clustery provádějí příjem dat za účelem načtení dat z jiných zdrojů dat a jejich načtení do tabulky v clusteru. Potom můžete dotazovat data pomocí syntaxe jazyka KQL (Kusto Query Language). Clustery mají také sadu operací správy, které můžete provádět.

Fyzická architektura

Cluster Azure Data Exploreru má dvě primární vrstvy, které platí pro konfiguraci spolehlivosti:

• Výpočetní vrstva: Azure Data Explorer je distribuovaná výpočetní platforma a v závislosti na škálování a typu role uzlu může mít virtuální počítače se dvěma nebo více uzly. Uzly zpracovávají zpracování dat a zpracování dotazů. Virtuální počítače uzlů nevidíte ani nespravujete přímo. Platforma automaticky spravuje vytváření instancí, monitorování stavu a nahrazování uzlů, které nejsou v pořádku. Když cluster nakonfigurujete tak, aby používal více zón dostupnosti, jsou uzly rozdělené mezi různá datacentra.

• Vrstva úložiště: Azure Data Explorer používá Azure Storage jako jeho odolnou vrstvu trvalosti. Úložiště automaticky poskytuje odolnost proti chybám s výchozím nastavením nabízejícím místně redundantní úložiště (LRS) v datacentru. Existují tři repliky. Pokud během používání dojde ke ztrátě repliky, nasadí se jiná bez přerušení. Když cluster nakonfigurujete tak, aby používal více zón dostupnosti, repliky se rozdělí mezi různá datová centra.

Diagram znázorňující cluster Azure Data Explorer s logickou architekturou dvou vrstev V horní vrstvě, označené jako výpočetní vrstva, jsou vedle sebe uspořádány dva rámečky uzlů, aby ukazovaly, že výpočetní zátěž je rozložena mezi více uzlů v rámci clusteru. Spodní vrstva je označená jako vrstva úložiště (zónově redundantní) se třemi poli pro kopírování úložiště uspořádaná zleva doprava jako kopie 1, kopie 2 a kopie 3. Diagram představuje vrstvený vztah: výpočetní vrstva zpracovává operace příjmu dat a dotazů.

Další informace najdete v tématu Jak Azure Data Explorer funguje.

Odolnost proti přechodným chybám

Přechodné chyby jsou krátká, přerušovaná selhání ve složkách. V distribuovaném prostředí, jako je cloud, se vyskytují často a jsou normální součástí provozu. Přechodné chyby se opravují po krátké době. Je důležité, aby vaše aplikace mohly zpracovávat přechodné chyby, obvykle opakováním ovlivněných požadavků.

Všechny aplikace hostované v cloudu by měly postupovat podle Azure pokynů pro zpracování přechodných chyb, když komunikují s libovolnými rozhraními API, databázemi a dalšími komponentami hostovanými v cloudu. Další informace najdete v tématu Doporučení pro zpracování přechodných chyb.

Pokud chcete vytvořit odolnost proti přechodným chybám při použití Azure Data Exploreru, postupujte podle těchto postupů:

• Při použití příjmu dat ve frontě se spoléháte na předdefinované chování opakování.

• Použijte klientské knihovny a sady SDK od Microsoftu, které se automaticky opakují, když dojde k přechodným chybám.

• Pokud používáte přímo Azure Data Explorer rozhraní REST API, zkuste opakovat všechny dotazy a operace správy, které selžou kvůli přechodné chybě.

Odolnost proti chybám zóny dostupnosti

Zóny dostupnosti jsou fyzicky oddělené skupiny datacenter v rámci oblasti Azure. Když jedna zóna selže, mohou služby přejít na jednu ze zbývajících zón.

Azure Data Explorer podporuje dva typy konfigurace zóny dostupnosti:

• Zónově redundantní (doporučeno): Když v clusteru povolíte zóny dostupnosti, uzly clusteru se rozloží mezi více zón. Microsoft spravuje distribuci uzlů napříč vybranými zónami dostupnosti a zpracovává detekci a reakci na selhání zóny dostupnosti. Zónově redundantní cluster je odolný vůči výpadku zóny dostupnosti.

  Když nakonfigurujete cluster tak, aby byl zónově redundantní, synchronně replikuje úložiště ZRS alespoň tři kopie dat napříč několika zónami dostupnosti.

  

  Diagram znázorňující cluster Azure Data Explorer, který používá více zón dostupnosti Tři svislé sloupce jsou označeny jako zóna dostupnosti 1, zóna dostupnosti 2 a zóna dostupnosti 3. Velký rámeček s popiskem Azure Data Explorer cluster se rozprostírá přes všechny tři sloupce. Rámeček je vodorovně rozdělen do dvou vrstev. Horní polovina je výpočetní vrstva. Jeden uzel je v zóně dostupnosti 1 a druhý uzel je v zóně dostupnosti 2. Nižší polovina je vrstva úložiště (zónově redundantní). Tři repliky úložiště jsou zobrazeny jako kopie 1 vlevo, kopie 2 uprostřed a kopie 3 vpravo, přičemž každá je přiřazena k jiné zóně dostupnosti. Jeden cluster Azure Data Explorer se rozprostírá napříč několika zónami a výpočetní kapacitou rozloženou mezi zónami a daty replikovanými do tří zónově oddělených kopií.

• Zonální: Volitelně můžete vybrat jednu zónu, když povolíte zóny dostupnosti v clusteru. Microsoft umístí všechny výpočetní uzly do této zóny. Tato konfigurace je zónový (jednozónový) cluster. Zónový cluster může snížit latenci neobvyklých úloh citlivých na latenci, protože všechny výpočetní uzly běží ve stejné zóně, ale neposkytuje odolnost proti výpadkům zón.

  Důležité

  Připnutí do jedné zóny dostupnosti se doporučuje jenom v případě, že je latence napříč zónami pro vaše potřeby příliš vysoká a po ověření, že latence nesplňuje vaše požadavky. Samotný zónový prostředek neposkytuje odolnost vůči výpadku zóny dostupnosti. Chcete-li zlepšit odolnost zónového prostředku, musíte explicitně nasadit samostatné prostředky do více zón dostupnosti a nakonfigurovat směrování provozu a zajištění převzetí služeb při selhání. Další informace najdete v tématu Zónové prostředky a odolnost zón.

  Výběr zóny se vztahuje jenom na výpočetní uzly. V případě zónového clusteru vaše data úložiště nadále používají LRS a můžou být uložená v jiné zóně než vaše výpočetní uzly.

  

  Diagram znázorňující cluster Azure Data Explorer, který používá jednu zónu dostupnosti Tři svislé sloupce jsou označeny jako zóna dostupnosti 1, zóna dostupnosti 2 a zóna dostupnosti 3. Velký rámeček označený Azure Data Explorer clusteru zahrnuje pouze jeden sloupec. Rámeček je vodorovně rozdělen do dvou vrstev. Horní polovina je výpočetní vrstva: oba uzly jsou v zóně dostupnosti 1. Ve spodní polovině je vrstva úložiště (místně redundantní) se třemi replikami úložiště ve stejné zóně dostupnosti. Jeden cluster Azure Data Explorer se omezuje na jednu zónu s výpočetními prostředky a úložištěm umístěnými v této zóně.

Pokud zóny dostupnosti nepovolíte, cluster je nezonální, což znamená, že Azure vybere zónu dostupnosti pro každý uzel a vaše data. Pokud má nějaká zóna dostupnosti v dané oblasti výpadek, může to mít vliv na uzly nebo data clusteru, případně na obojí. Nedoporučujeme nezonální konfiguraci, protože neposkytuje ochranu před výpadky zón dostupnosti.

Požadavky

• Podpora oblastí: Podpora zón dostupnosti je dostupná v oblastech Azure, které podporují zóny dostupnosti.

  Některé typy a velikosti výpočetních uzlů jsou ale dostupné jenom v konkrétních oblastech nebo v konkrétních zónách v rámci oblasti.

• Úplné clustery: Podpora pro dostupnostní zónu je dostupná pro úplné clustery. Není k dispozici u bezplatných clusterů.

Úvahy

Výběr zóny: U výpočetních uzlů zvolíte, které zóny dostupnosti se mají použít. Microsoft spravuje umístění zóny úložiště a repliky úložiště můžou být v různých zónách od výpočetních uzlů.

Náklady

Povolení podpory zón dostupnosti znamená dodatečné náklady na ZRS, které se účtuje vyšší sazbou než LRS. Další informace najdete v tématu s cenami služby Azure Storage.

Výpočetní uzly se účtují stejným způsobem bez ohledu na to, jestli používáte podporu zóny dostupnosti nebo ne. Další informace najdete v tématu o cenách Azure Data Exploreru.

Konfigurujte podporu zón dostupnosti

• Vytvořte nový cluster s podporou zóny dostupnosti. Podporu zón dostupnosti můžete povolit při vytváření nového clusteru Azure Data Explorer. Další informace najdete v tématu Vytvoření clusteru a databáze.

  Když vytvoříte cluster s podporou zóny dostupnosti pomocí portálu Azure, bude automaticky zónově redundantní a Microsoft vybere zóny.

  Pokud chcete vybrat zóny sami nebo vytvořit zónový cluster, použijte jiný přístup nasazení, jako jsou rozhraní API Azure Resource Manageru nebo Bicep. Ve většině situací vytvořte zónově redundantní cluster a použijte všechny zóny v oblasti.

  Poznámka:

  Když vyberete, které zóny dostupnosti se mají použít, ve skutečnosti vybíráte logickou zónu dostupnosti. Pokud nasadíte jiné součásti úloh v jiném předplatném Azure, můžou pro přístup ke stejné zóně fyzické dostupnosti použít jiné číslo logické zóny dostupnosti. Další informace najdete v tématu Fyzické a logické zóny dostupnosti.

• Povolení zón dostupnosti v existujícím clusteru (Preview) Existující nezonální cluster můžete migrovat tak, aby používal zóny dostupnosti. Tato funkce je teď ve verzi Preview. Další informace najdete v tématu Migrace clusteru pro podporu více zón dostupnosti.

• Změna konfigurace zón dostupnosti v existujícím clusteru (Preview) Můžete změnit zóny používané pro cluster. Tato funkce je teď ve verzi Preview. Další informace najdete v tématu Migrace clusteru pro podporu více zón dostupnosti.

• Zakažte podporu zóny dostupnosti v existujícím clusteru. Jakmile je cluster nakonfigurovaný se zónami dostupnosti, nemůžete cluster změnit tak, aby nepoužít zóny dostupnosti.

• Ověřte konfiguraci zóny dostupnosti pro clustery. Pomocí vlastnosti stavu zóny clusteru ( zoneStatus vlastnost v rozhraní REST API) ověřte konfiguraci zóny dostupnosti clusteru. Hodnota Zonal značí, že cluster používá zóny dostupnosti, ale neznamená to, že cluster běží v jedné zóně.

  Pokud chcete zjistit, jestli je cluster zónový nebo zónově redundantní, použijte zones tuto vlastnost. Pokud seznam zón obsahuje jednu zónu, cluster je zónový (jednozónový). Pokud obsahuje více zón, je zónově redundantní.

Plánování a řízení kapacit

Pokud je zóna dostupnosti nedostupná, můžou být všechny uzly v této zóně dočasně nedostupné, což snižuje výpočetní kapacitu clusteru, dokud se zóna neobnoví.

Pokud váš klastr nemůže unést ztrátu kapacity, zvažte předimenzování klastru. Tento přístup umožňuje řešení tolerovat určitou ztrátu kapacity a nadále fungovat bez snížení výkonu. Pokud však svůj cluster nadměrně alokujete, může mít nevyrovnaný počet uzlů napříč zónami.

Distribuce instancí napříč zónami

Výpočetní vrstva clusteru používá nejlepší přístup k rovnoměrné rozložení instancí mezi vybrané zóny.

Chování, když jsou všechny zóny v pořádku

Tato část popisuje, co očekávat, když nakonfigurujete cluster pro podporu zóny dostupnosti a všechny zóny jsou funkční.

• Operace napříč zónami: Během normálního provozu Azure Data Explorer používá všechny dostupné výpočetní uzly pro příjem dat, zpracování dotazů a další operace. Práce se distribuuje napříč uzly bez ohledu na jejich zónu dostupnosti.

• Replikace dat mezi zónami: Chování replikace dat mezi zónami závisí na konfiguraci zóny dostupnosti, kterou váš cluster používá.

  • Zónově redundantní: Data se synchronně replikují napříč zónami dostupnosti pomocí úložiště ZRS, která poskytuje vysokou úroveň konzistence dat a minimalizuje riziko ztráty dat během selhání zóny.

  • Zonální: Data se ukládají pomocí úložiště LRS, což znamená, že všechny tři kopie můžou být v jedné zóně dostupnosti.

Chování při selhání zóny

Tato část popisuje, co očekávat, když nakonfigurujete cluster pro podporu zóny dostupnosti a v jedné z zón dojde k výpadku.

• Detekce a odpověď: Odpovědnost za detekci a odpověď závisí na konfiguraci zóny dostupnosti, kterou váš cluster používá.

  • Zónově redundantní: Microsoft zjišťuje selhání zóny dostupnosti a spravuje reakci pro Azure Data Explorer. Nemusíte dělat nic, abyste zahájili převzetí zóny.

  • Zónové: Zodpovídáte za detekci selhání v zónách dostupnosti, které váš cluster používá. Zodpovídáte také za odpovědi, které se rozhodnete zahájit, například přepnutí na druhý cluster, který jste předtím vytvořili v jiné zóně dostupnosti.

• Oznámení: Microsoft vás při výpadku zóny automaticky neoznámí. Můžete ale použít Azure Service Health k pochopení celkového stavu služby, včetně jakýchkoli selhání zón, a můžete nastavit upozornění služby Service Health, která vás upozorní na problémy.

• Aktivní požadavky: Aktivní požadavky, které spoléhají na výpočetní prostředky nebo prostředky úložiště v zóně selhání, můžou být ukončeny a klient by je měl opakovat. Podle pokynů pro zpracování přechodných chyb se ujistěte, že jsou vaše aplikace připravené.

• Očekávaná ztráta dat: Očekávaná ztráta dat závisí na konfiguraci zóny dostupnosti, kterou váš cluster používá.

  • Zónově redundantní: Během výpadku zóny dostupnosti se neočekává žádná ztráta dat, protože data se synchronně replikují napříč zónami.

  • Zonální: Data nejsou dostupná, dokud se zóna neobnoví. V nepravděpodobném případě trvalé ztráty zóny, která obsahuje veškeré repliky úložiště, mohou data být trvale ztracena.

• Očekávaný výpadek: Očekávaný výpadek závisí na konfiguraci zóny dostupnosti, kterou váš cluster používá.

  • Zónově redundantní: Během přesměrování provozu do zdravých zón dostupnosti může dojít ke krátkému přerušení služby. Podle pokynů pro zpracování přechodných chyb se ujistěte, že jsou vaše aplikace připravené.

  • Zonální: Výpočetní uzly clusteru nejsou dostupné, dokud se zóna dostupnosti neobnoví. Během selhání zóny také možná nebudete mít přístup k datům clusteru.

• Přerozdělování: Chování přesměrování provozu závisí na konfiguraci zóny dostupnosti, kterou váš cluster používá.

  • Zónově redundantní: Azure Data Explorer směruje nové požadavky na výpočetní prostředky a prostředky úložiště ve zbývajících zónách, které jsou v pořádku.

  • Zonální: Váš cluster není dostupný, dokud se zóna dostupnosti neobnoví.

Obnovení zóny

Když se zóna dostupnosti zotaví, Microsoft znovu vytvoří uzly clusteru a repliky úložiště v této zóně a obnoví normální distribuci provozu napříč všemi zónami. Nemusíte nic dělat.

Testování poruch zón

Možnosti pro testování selhání zón závisí na konfiguraci zóny dostupnosti, kterou váš cluster používá.

• Zónově redundantní: Microsoft plně spravuje přepnutí při selhání a obnovení v zónách dostupnosti pro Azure Data Explorer. Nemusíte zahajovat ani ověřovat procesy při selhání zóny dostupnosti.

• Zonální: Pokud chcete částečně simulovat ztrátu všech výpočetních uzlů během výpadku zóny, můžete cluster zastavit. Tento přístup použijte k ověření některých částí vašich vlastních procesů detekce výpadku zóny a převzetí služeb při selhání.

Odolnost proti selháním v celé oblasti

Cluster Azure Data Exploreru se nasadí do jedné oblasti Azure. Pokud se tato oblast stane nedostupnou, cluster a jeho data nebudou k dispozici.

Vlastní řešení pro více regionů pro zajištění odolnosti

Pokud chcete minimalizovat obchodní dopad výpadku oblasti, nasaďte samostatné clustery Azure Data Explorer ve více oblastech. Každý cluster je nezávislý. Zodpovídáte za správu jednotlivých clusterů a za koordinaci replikace dat, směrování provozu a převzetí služeb při selhání mezi oblastmi.

Můžete se rozhodnout mezi různými typy konfigurací clusteru ve více oblastech, které podporují různé úrovně doby obnovení, potenciální ztrátu dat, úsilí a náklady. Pro každý cluster, který podporuje latenci a požadavky na rezidenci dat, vyberte Azure oblasti. Další informace o konfiguracích a vzorech clusterů ve více oblastech najdete v přehledu provozní kontinuity a zotavení po havárii.

Zálohování a obnovení

U většiny řešení byste se neměli spoléhat výhradně na zálohy. Místo toho využijte další funkce popsané v tomto průvodci k podpoře vašich požadavků na odolnost. Zálohy ale chrání před některými riziky, která jiné přístupy nechrání. Další informace najdete v tématu Co jsou redundance, replikace a zálohování?.

Azure Data Explorer neposkytuje nativní funkci zálohování a obnovení. Pokud potřebujete zálohovat data, zvažte následující přístupy:

• Průběžný export pravidelně exportuje data do externího úložiště a poskytuje přesně jeden export pro podporované datové typy.

• Export dat do cloudového úložiště podporuje ruční export dat do externího úložiště.

• Ingestování nezpracovaných dat do Azure Data Exploreru z nadřazeného zdroje, jako je datové jezero, které můžete zálohovat samostatně.

Odolnost proti náhodnému odstranění

Azure Data Explorer obsahuje několik mechanismů, které vám pomůžou chránit před náhodným odstraněním clusterů, databází, tabulek a externích tabulek:

• Náhodné odstranění clusteru nebo databáze: Náhodné odstranění clusteru nebo databáze je nevratná akce. Zabránit ztrátě dat povolením zámku odstranění v clusteru nebo databázovém prostředku

• Náhodné odstranění tabulky: Uživatelé, kteří mají oprávnění správce tabulky nebo vyšší, můžou tabulky vypustit. Pokud některý z těchto uživatelů omylem zahodí tabulku, můžete ji obnovit pomocí příkazu vrácení tabulky zpět . Aby byl tento příkaz úspěšný, musíte nejprve povolit vlastnost obnovitelnosti v zásadách uchovávání informací.

• Náhodné odstranění externí tabulky:Externí tabulky jsou entity schématu Kusto, které odkazují na data uložená mimo databázi. Odstranění externí tabulky odstraní pouze metadata tabulky. Můžete ho obnovit opětovným spuštěním příkazu pro vytvoření tabulky.

  V případě externích tabulek Azure Blob Storage a Azure Data Lake můžete pomocí funkce obnovitelného odstranění chránit před náhodným odstraněním nebo přepsáním objektu blob po dobu nakonfigurovanou uživatelem.

Odolnost vůči údržbě služeb

Azure Data Explorer pravidelně používá aktualizace služeb a provádí běžnou údržbu. Platforma Azure tyto aktivity zpracovává automaticky, zatímco zůstává v rámci úrovní dostupnosti zadaných ve sla. Podle pokynů pro zpracování přechodných chyb se ujistěte, že jsou vaše aplikace připravené na občasnou ztrátu připojení během údržby služby.

Informace o nadcházející plánované údržbě najdete v Azure Service Health.

Smlouva o úrovni služeb

Smlouva o úrovni služeb (SLA) pro služby Azure popisuje očekávanou dostupnost každé služby a podmínky, které musí vaše řešení splnit, aby bylo dosaženo očekávané dostupnosti. Další informace najdete v tématu Smlouvy SLA pro online služby.

Pokud chcete mít nárok na smlouvu SLA dostupnosti Azure Data Exploreru, musí vaše aplikace zpracovávat přechodné chyby opakovaným pokusem o neúspěšné požadavky.

Související obsah

• Spolehlivost v Azure
• Přehled Azure Data Exploreru
• Přehled BCDR