Spolehlivost v Azure Data Exploreru

Azure Data Explorer je analytická služba, která umožňuje ingestovat, ukládat a dotazovat velké objemy dat s nízkou latencí. Běžně se používá pro analýzy protokolů, telemetrii a úlohy časových řad, které vyžadují rychlé dotazování u velkých datových sad.

Při používání Azure je spolehlivost sdílenou odpovědností. Microsoft nabízí celou řadu možností, které podporují odolnost a obnovení. Zodpovídáte za pochopení toho, jak tyto možnosti fungují ve všech službách, které používáte, a výběrem možností, které potřebujete ke splnění vašich obchodních cílů a cílů dostupnosti.

Tento článek popisuje, jak zajistit odolnost Azure Data Exploreru vůči různým potenciálním výpadkům a problémům, včetně přechodných chyb, selhání zón dostupnosti a selhání v celé oblasti. Popisuje také možnosti zálohování a obnovení a odolnost vůči údržbě služeb a zvýrazňuje klíčové informace o smlouvě o úrovni služeb Azure Data Exploreru (SLA).

Doporučení pro produkční nasazení pro spolehlivost

V případě produkčních úloh doporučujeme provést následující kroky ke zlepšení spolehlivosti clusteru Azure Data Exploreru:

  • Nasadit celý klastr Azure Data Explorer poskytuje bezplatné clustery pro účely zkušební verze. Pro produkční úlohy nasaďte úplný cluster.
  • Povolte podporu zóny dostupnosti. Azure Data Explorer podporuje zóny dostupnosti. Pokud je povolená podpora zóny dostupnosti, výpočetní uzly se distribuují napříč několika zónami dostupnosti a data se ukládají pomocí zónově redundantního úložiště. Tato konfigurace zlepšuje odolnost proti chybám zóny dostupnosti.

Přehled architektury spolehlivosti

Tato část popisuje některé důležité aspekty fungování služby, které jsou z hlediska spolehlivosti nejrelevantní. Tato část představuje logickou architekturu, která obsahuje některé prostředky a funkce, které nasazujete a používáte. Popisuje také fyzickou architekturu, která poskytuje podrobnosti o tom, jak služba funguje v zákulisí.

Logická architektura

Primárním prostředkem, který nasadíte, je cluster, který představuje infrastrukturu, kterou potřebujete k ingestování, ukládání a dotazování dat. V clusteru vytvoříte databáze, které pak obsahují tabulky.

Diagram znázorňující cluster, který obsahuje dvě databáze, každý se sadou tabulek

Clustery provádějí příjem dat za účelem načtení dat z jiných zdrojů dat a jejich načtení do tabulky v clusteru. Data se pak dají dotazovat pomocí syntaxe jazyka KQL (Kusto Query Language). Clustery mají také sadu operací správy, které můžete provádět.

Fyzická architektura

Cluster Azure Data Exploreru má dvě primární vrstvy, které platí pro konfiguraci spolehlivosti:

  • Výpočetní vrstva: Azure Data Explorer je distribuovaná výpočetní platforma a v závislosti na rozsahu a typu role uzlu může mít dva až mnoho virtuálních uzlových strojů (VMs). Uzly zpracovávají zpracování dat a zpracování dotazů. Virtuální počítače uzlů nevidíte ani nespravujete přímo. Platforma automaticky spravuje vytváření instancí, monitorování stavu a nahrazování uzlů, které nejsou v pořádku. Pokud je cluster nakonfigurovaný tak, aby používal zóny dostupnosti, jsou uzly rozdělené mezi různá datacentra.

  • Vrstva úložiště: Azure Data Explorer používá Azure Storage jako jeho odolnou vrstvu trvalosti. Azure Storage automaticky poskytuje odolnost proti chybám s výchozím nastavením nabízejícím místně redundantní úložiště (LRS) v datovém centru. Existují tři repliky. Pokud během používání dojde ke ztrátě repliky, nasadí se jiná bez přerušení. Pokud je cluster nakonfigurovaný tak, aby používal více zón dostupnosti, repliky se rozdělí mezi různá datová centra.

Diagram znázorňující cluster s výpočetními uzly a několika kopiemi dat

Další informace najdete v tématu Jak Azure Data Explorer funguje.

Odolnost proti přechodným chybám

Přechodné chyby jsou krátká, přerušovaná selhání ve složkách. V distribuovaném prostředí, jako je cloud, se vyskytují často a jsou normální součástí provozu. Přechodné chyby se opravují po krátké době. Je důležité, aby vaše aplikace mohly zpracovávat přechodné chyby, obvykle opakováním ovlivněných požadavků.

Všechny aplikace hostované v cloudu by měly postupovat podle Azure pokynů pro zpracování přechodných chyb, když komunikují s libovolnými rozhraními API, databázemi a dalšími komponentami hostovanými v cloudu. Další informace najdete v tématu Doporučení pro zpracování přechodných chyb.

Pokud chcete vytvořit odolnost proti přechodným chybám při použití Azure Data Exploreru, postupujte podle těchto postupů:

Odolnost proti chybám zóny dostupnosti

Zóny dostupnosti jsou fyzicky oddělené skupiny datacenter v rámci oblasti Azure. Když jedna zóna selže, mohou služby přejít na jednu ze zbývajících zón.

Azure Data Explorer podporuje dva typy konfigurace zóny dostupnosti:

  • Zónově redundantní (doporučeno): Když v clusteru povolíte zóny dostupnosti, uzly clusteru se rozloží mezi více zón. Microsoft spravuje distribuci uzlů napříč vybranými zónami dostupnosti a zpracovává detekci a reakci na selhání zóny dostupnosti. Zónově redundantní cluster je odolný vůči výpadku zóny dostupnosti.

    Když nakonfigurujete cluster tak, aby byl zónově redundantní, ukládají se vaše data pomocí zónově redundantního úložiště Azure Storage (ZRS), které synchronně replikuje aspoň tři kopie dat napříč několika zónami dostupnosti.

    Diagram znázorňující zónově redundantní nasazení clusteru Azure Data Exploreru s výpočetními uzly a úložištěm rozprostřenými napříč několika zónami

  • Zonální: Volitelně můžete vybrat jednu zónu, když povolíte zóny dostupnosti v clusteru. Microsoft umístí všechny své výpočetní poznámky do této zóny. Jedná se o zónový cluster (s jednou zónou). Tato konfigurace může občas pomoct, pokud máte neobvykle latenci citlivou úlohu, ale neposkytuje odolnost proti výpadkům zón.

    Důležité

    Připnutí do jedné zóny dostupnosti se doporučuje jenom v případě, že je latence napříč zónami pro vaše potřeby příliš vysoká a po ověření, že latence nesplňuje vaše požadavky. Samotný zónový prostředek neposkytuje odolnost vůči výpadku zóny dostupnosti. Chcete-li zlepšit odolnost zónového prostředku, musíte explicitně nasadit samostatné prostředky do více zón dostupnosti a nakonfigurovat směrování provozu a zajištění převzetí služeb při selhání. Další informace najdete v tématu Zónové prostředky a odolnost zón.

    Výběr zóny se vztahuje jenom na výpočetní uzly. V případě zónového clusteru vaše data úložiště nadále používají LRS a můžou být uložená v jiné zóně pro vaše výpočetní uzly.

    Diagram znázorňující zónové nasazení clusteru Azure Data Exploreru se všemi výpočetními poznámkami v jedné zóně a zónově redundantním úložištěm

Pokud zóny dostupnosti nepovolíte, cluster je nezonální, což znamená, že Azure vybere zónu dostupnosti pro každý uzel a vaše data. Pokud má nějaká zóna dostupnosti v dané oblasti výpadek, může to mít vliv na uzly nebo data clusteru, případně na obojí. Nedoporučujeme nezonální konfiguraci, protože neposkytuje ochranu před výpadky zón dostupnosti.

Požadavky

  • Podpora oblastí: Podpora zón dostupnosti je dostupná v oblastech Azure, které podporují zóny dostupnosti.

    Některé typy a velikosti výpočetních uzlů jsou ale dostupné jenom v konkrétních oblastech nebo v konkrétních zónách v rámci oblasti.

  • Úplné clustery: Podpora pro dostupnostní zónu je dostupná pro úplné clustery. Není k dispozici u bezplatných clusterů.

Úvahy

Výběr zóny: U výpočetních uzlů zvolíte, které zóny dostupnosti se mají použít. Umístění zóny úložiště spravuje Microsoft a repliky úložiště můžou být umístěny v různých zónách než vaše výpočetní uzly.

Náklady

Aktivace podpory zón dostupnosti má za následek dodatečné náklady na zónově redundantní úložiště, které je účtováno vyšší sazbou než místně redundantní úložiště. Další informace najdete v tématu s cenami služby Azure Storage.

Výpočetní uzly se účtují stejným způsobem bez ohledu na to, jestli používáte podporu zóny dostupnosti nebo ne. Další informace najdete v tématu o cenách Azure Data Exploreru.

Konfigurujte podporu zón dostupnosti

  • Vytvořte nový cluster s podporou zóny dostupnosti: Podporu zón dostupnosti můžete povolit při vytváření nového clusteru Azure Data Exploreru. Další informace najdete v tématu Vytvoření clusteru a databáze.

    Když vytvoříte cluster s podporou zóny dostupnosti pomocí webu Azure Portal, bude automaticky zónově redundantní a Microsoft vybere zóny.

    Pokud chcete vybrat zóny sami nebo vytvořit zónový cluster, použijte jiný přístup nasazení, jako jsou rozhraní API Azure Resource Manageru nebo Bicep. Ve většině situací doporučujeme vytvořit zónově redundantní cluster a použít všechny zóny v oblasti.

    Poznámka:

    Když vyberete, které zóny dostupnosti se mají použít, ve skutečnosti vybíráte logickou zónu dostupnosti. Pokud nasadíte jiné součásti úloh v jiném předplatném Azure, můžou pro přístup ke stejné zóně fyzické dostupnosti použít jiné číslo logické zóny dostupnosti. Další informace najdete v tématu Fyzické a logické zóny dostupnosti.

  • Povolení zón dostupnosti v existujícím clusteru (Preview): Existující nezonální cluster můžete migrovat tak, aby používal zóny dostupnosti. Tato funkce je teď ve verzi Preview. Další informace najdete v tématu Migrace clusteru pro podporu více zón dostupnosti.

  • Změna konfigurace zón dostupnosti v existujícím clusteru (Preview): Můžete změnit zóny používané pro cluster. Tato funkce je teď ve verzi Preview. Další informace najdete v tématu Migrace clusteru pro podporu více zón dostupnosti.

  • Zakázání podpory zóny dostupnosti v existujícím clusteru: Jakmile je cluster nakonfigurovaný se zónami dostupnosti, nemůžete cluster změnit tak, aby nepoužít zóny dostupnosti.

  • Ověřte konfiguraci zóny dostupnosti pro clustery: Pomocí vlastnosti stavu zóny clusteru ( zoneStatus vlastnost v rozhraní REST API) můžete ověřit konfiguraci zóny dostupnosti clusteru.

    Pokud se jedná Zonalo hodnotu, znamená to, že cluster je nakonfigurovaný tak, aby používal zóny dostupnosti. Cluster však může být zónový nebo zónově redundantní. K určení, která, použijte vlastnost zóny . Pokud seznam zón obsahuje jednu zónu, cluster je zónový (jednozónový). Pokud obsahuje více zón, je zónově redundantní.

Plánování a řízení kapacit

Pokud je zóna dostupnosti nedostupná, můžou být všechny uzly v této zóně dočasně nedostupné, což snižuje výpočetní kapacitu clusteru, dokud se zóna neobnoví.

Pokud váš cluster nemůže tolerovat ztrátu kapacity, zvažte přidělení nadměrné kapacity pro váš cluster. Tento přístup umožňuje řešení tolerovat určitou ztrátu kapacity a nadále fungovat bez snížení výkonu. Pokud však svůj cluster nadměrně alokujete, může mít nevyrovnaný počet uzlů napříč zónami.

Distribuce instancí napříč zónami

Výpočetní vrstva clusteru používá snahu o maximální využití k rovnoměrnému rozložení instancí napříč vámi vybranými zónami.

Chování, když jsou všechny zóny v pořádku

Tato část popisuje, co očekávat, když nakonfigurujete cluster pro podporu zóny dostupnosti a všechny zóny jsou funkční.

  • Operace napříč zónami: Během normálního provozu Azure Data Explorer používá všechny dostupné výpočetní uzly pro příjem dat, zpracování dotazů a další operace. Práce se distribuuje napříč uzly bez ohledu na jejich zónu dostupnosti.

  • Replikace dat mezi zónami: Chování replikace dat mezi zónami závisí na konfiguraci zóny dostupnosti, kterou váš cluster používá.

    • Zónově redundantní: Data se synchronně replikují napříč zónami dostupnosti pomocí zónově redundantního úložiště Azure Storage. To poskytuje vysokou úroveň konzistence dat a minimalizuje riziko ztráty dat během selhání zóny.

    • Zonální: Data se ukládají pomocí místně redundantního úložiště Azure Storage, což znamená, že všechny tři kopie můžou být v jedné zóně dostupnosti.

Chování při selhání zóny

Tato část popisuje, co očekávat, když nakonfigurujete cluster pro podporu zóny dostupnosti a v jedné z zón dojde k výpadku.

  • Detekce a odpověď: Odpovědnost za detekci a odpověď závisí na konfiguraci zóny dostupnosti, kterou váš cluster používá.

    • Zónově redundantní: Microsoft zjišťuje selhání zóny dostupnosti a spravuje reakci pro Azure Data Explorer. Nemusíte dělat nic, abyste zahájili převzetí zóny.

    • Zonální: Zodpovídáte za zjištění selhání, které má vliv na zónu dostupnosti používanou vaším clusterem. Zodpovídáte také za jakoukoli odpověď, kterou jste se rozhodli zahájit, například přepnutí na druhý cluster, který jste předtím vytvořili v jiné zóně dostupnosti.

  • Oznámení: Microsoft vás při výpadku zóny automaticky neoznámí. Můžete ale použít Azure Service Health k pochopení celkového stavu služby, včetně jakýchkoli selhání zón, a můžete nastavit upozornění služby Service Health, která vás upozorní na problémy.

  • Aktivní požadavky: Aktivní požadavky, které spoléhají na výpočetní prostředky nebo prostředky úložiště v zóně selhání, můžou být ukončeny a klient by je měl opakovat. Podle pokynů pro zpracování přechodných chyb se ujistěte, že jsou vaše aplikace připravené.

  • Očekávaná ztráta dat: Očekávaná ztráta dat závisí na konfiguraci zóny dostupnosti, kterou váš cluster používá.

    • Zónově redundantní: Během výpadku zóny dostupnosti se neočekává žádná ztráta dat, protože data se synchronně replikují napříč zónami.

    • Zonální: Data nejsou dostupná, dokud se zóna neobnoví. V nepravděpodobném případě trvalé ztráty zóny, která obsahuje veškeré repliky úložiště, mohou data být trvale ztracena.

  • Očekávaný výpadek: Očekávaný výpadek závisí na konfiguraci zóny dostupnosti, kterou váš cluster používá.

    • Zónově redundantní: Během přesměrování provozu do zdravých zón dostupnosti může dojít ke krátkému přerušení služby. Podle pokynů pro zpracování přechodných chyb se ujistěte, že jsou vaše aplikace připravené.

    • Zonální: Výpočetní uzly clusteru nejsou dostupné, dokud se zóna dostupnosti neobnoví. Během selhání zóny také možná nebudete mít přístup k datům clusteru.

  • Přerozdělování: Chování přesměrování provozu závisí na konfiguraci zóny dostupnosti, kterou váš cluster používá.

    • Zónově redundantní: Azure Data Explorer směruje nové požadavky na výpočetní prostředky a prostředky úložiště ve zbývajících zónách, které jsou v pořádku.

    • Zonální: Váš cluster není dostupný, dokud se zóna dostupnosti neobnoví.

Obnovení zóny

Když se zóna dostupnosti zotaví, Microsoft znovu vytvoří uzly clusteru a repliky úložiště v této zóně a obnoví normální distribuci provozu napříč všemi zónami. Nevyžaduje se žádná akce zákazníka.

Testování poruch zón

Možnosti pro testování selhání zón závisí na konfiguraci zóny dostupnosti, kterou váš cluster používá.

  • Zónově redundantní: Převzetí služeb při selhání a obnovení v zóně dostupnosti pro Azure Data Explorer je plně spravováno společností Microsoft. Nemusíte spouštět ani ověřovat postupy při selhání zóny dostupnosti.

  • Zonální: Pokud chcete částečně simulovat ztrátu všech výpočetních uzlů během výpadku zóny, můžete cluster zastavit. Tento přístup můžete použít k ověření částí vlastních procesů detekce výpadku zón a přepnutí při selhání.

Odolnost proti selháním v celé oblasti

Cluster Azure Data Exploreru se nasadí do jedné oblasti Azure. Pokud se tato oblast stane nedostupnou, cluster a jeho data nebudou k dispozici.

Vlastní řešení pro více regionů pro odolnost systémů

Pokud chcete minimalizovat obchodní dopad výpadku oblasti, můžete nasadit samostatné clustery Azure Data Exploreru ve více oblastech. Každý cluster je nezávislý, a jste zodpovědní za správu každého clusteru a za koordinaci replikace dat, směrování provozu a převzetí služeb při selhání mezi oblastmi.

Můžete se rozhodnout mezi různými typy konfigurací clusteru s více oblastmi, které podporují různé úrovně doby obnovení, potenciální ztrátu dat, úsilí a náklady. Pro každý cluster, který podporuje latenci a požadavky na rezidenci dat, můžete vybrat oblasti Azure. Další informace o konfiguracích a vzorech clusteru s více oblastmi, které můžete sledovat, najdete v tématu Výpadek oblasti Azure.

Zálohování a obnovení

U většiny řešení byste se neměli spoléhat výhradně na zálohy. Místo toho využijte další funkce popsané v tomto průvodci k podpoře vašich požadavků na odolnost. Zálohy ale chrání před některými riziky, která jiné přístupy nechrání. Další informace najdete v tématu Co jsou redundance, replikace a zálohování?.

Azure Data Explorer neposkytuje nativní funkci zálohování a obnovení. Pokud potřebujete zálohovat data, můžete zvážit následující přístupy:

  • Průběžný export, který pravidelně exportuje data do externího úložiště a podporuje přesně jednou export podporovaných dat.
  • Export dat do cloudového úložiště, který umožňuje ručně exportovat data do externího úložiště.
  • Ingestování nezpracovaných dat do Azure Data Exploreru z nadřazeného zdroje, jako je datové jezero, které můžete zálohovat samostatně.

Odolnost proti náhodnému odstranění

Azure Data Explorer obsahuje několik mechanismů, které vám pomůžou chránit před náhodným odstraněním clusterů, databází, tabulek a externích tabulek:

  • Náhodné odstranění clusteru nebo databáze: Náhodné odstranění clusteru nebo databáze je nevratná akce. Ztrátě dat můžete zabránit povolením zámku odstranění clusteru nebo databázového prostředku.

  • Náhodné odstranění tabulky: Uživatelům s oprávněními správce tabulek nebo vyšším je povoleno vyhazovat tabulky. Pokud některý z těchto uživatelů omylem zahodí tabulku, můžete ji obnovit pomocí .undo drop table příkazu. Aby byl tento příkaz úspěšný, musíte nejprve povolit vlastnost obnovitelnosti v zásadách uchovávání informací.

  • Náhodné odstranění externí tabulky:Externí tabulky jsou entity schématu Kusto, které odkazují na data uložená mimo databázi. Odstranění externí tabulky odstraní pouze metadata tabulky. Můžete ji obnovit opětovným spuštěním příkazu pro vytvoření tabulky.

    V případě externích tabulek Azure Blob Storage a Azure Data Lake můžete pomocí funkce obnovitelného odstranění chránit před náhodným odstraněním nebo přepsáním objektu blob po dobu nakonfigurovanou uživatelem.

Odolnost vůči údržbě služeb

Azure Data Explorer pravidelně používá aktualizace služeb a provádí běžnou údržbu. Platforma Azure tyto aktivity zpracovává automaticky, zatímco zůstává v rámci úrovní dostupnosti zadaných ve sla. Podle pokynů pro zpracování přechodných chyb se ujistěte, že jsou vaše aplikace připravené na občasnou ztrátu připojení během údržby služby.

Informace o nadcházející údržbě najdete ve službě Azure Service Health.

Smlouva o úrovni služeb

Smlouva o úrovni služeb (SLA) pro služby Azure popisuje očekávanou dostupnost každé služby a podmínky, které musí vaše řešení splnit, aby bylo dosaženo očekávané dostupnosti. Další informace najdete v tématu Smlouvy SLA pro online služby.

Pokud chcete mít nárok na smlouvu SLA dostupnosti Azure Data Exploreru, musí vaše aplikace zpracovávat přechodné chyby opakovaným pokusem o neúspěšné požadavky.

Související obsah

  • Last updated on