Spolehlivost ve službě Azure Data Factory

Azure Data Factory umožňuje vytvářet flexibilní a výkonné datové kanály pro integraci a transformaci dat bez serveru. Jako služba Azure poskytuje služba Data Factory celou řadu funkcí, které podporují vaše požadavky na spolehlivost.

Při používání Azure je spolehlivost sdílenou odpovědností. Microsoft nabízí celou řadu možností, které podporují odolnost a obnovení. Zodpovídáte za pochopení toho, jak tyto možnosti fungují ve všech službách, které používáte, a výběrem možností, které potřebujete ke splnění vašich obchodních cílů a cílů dostupnosti.

Tento článek popisuje, jak službě Data Factory zajistit odolnost vůči nejrůznějším potenciálním výpadkům a problémům, včetně přechodných chyb, výpadků zón dostupnosti a výpadků oblastí. Popisuje také, jak můžete použít zálohy k obnovení z jiných typů problémů a zvýrazní některé klíčové informace o smlouvě o úrovni služeb služby Data Factory (SLA).

Poznámka:

Při zvažování spolehlivosti datové továrny je potřeba zvážit také spolehlivost úložišť dat, ke kterým se připojuje. Zvýšení odolnosti samotné datové továrny může mít omezený dopad, pokud úložiště dat nejsou stejně odolná. V závislosti na požadavcích na odolnost možná budete muset provést změny konfigurace v několika oblastech. Pokud chcete zajistit, aby úložiště dat splňovala vaše požadavky na provozní kontinuitu, projděte si dokumentaci ke spolehlivosti produktů a pokyny.

Přehled architektury spolehlivosti

Data Factory se skládá z několika komponent infrastruktury. Každá komponenta podporuje spolehlivost infrastruktury různými způsoby.

Součástí služby Data Factory jsou:

• Základní služba Data Factory, která spravuje triggery potrubí a řídí koordinaci aktivit potrubí. Základní služba také spravuje metadata pro každou komponentu v datové továrně. Microsoft spravuje základní službu.

• Prostředí Integration Runtime (IRs), která se připojují k úložištím dat a provádějí aktivity definované ve vašem datovém potrubí. Existují různé typy IR.

  • Prostředí IR spravovaná Microsoftem, která zahrnují prostředí Azure IR a prostředí IR Azure-SQL Server Integration Services (Azure-SSIS). Microsoft spravuje komponenty, které tyto moduly runtime tvoří. V některých scénářích nakonfigurujete nastavení, která ovlivňují odolnost vašich infrastrukturních prostředků.

  • Vlastně hostovaná prostředí Integration Runtime (SHIRs) Microsoft poskytuje software, který můžete spouštět na vlastní výpočetní infrastruktuře a provádět některé části kanálů služby Data Factory. Zodpovídáte za nasazení a správu výpočetních prostředků a za odolnost těchto výpočetních prostředků.

Odolnost proti přechodným chybám

Přechodné chyby jsou krátká, přerušovaná selhání ve složkách. Často se vyskytují v distribuovaném prostředí, jako je cloud, a jsou normální součástí provozu. Přechodné chyby se opravují po krátké době. Je důležité, aby vaše aplikace mohly zpracovávat přechodné chyby, obvykle opakováním ovlivněných požadavků.

Všechny aplikace hostované v cloudu by měly při komunikaci se všemi cloudovými rozhraními API, databázemi a dalšími komponentami postupovat podle pokynů pro zpracování přechodných chyb Azure. Další informace najdete v tématu Doporučení pro zpracování přechodných chyb.

Při použití služby Data Factory je důležité se připravit na přechodné chyby, zejména při návrhu kanálů a aktivit.

Idempotence (v informatice, vlastnost operace, kdy opakované provedení nezmění výsledek).

Aktivity vašeho pipeline by měly být idempotentní, což znamená, že je možné je spustit několikrát, aniž by to způsobilo nežádoucí účinky. Pokud dojde k přechodné chybě, jako je selhání sítě nebo výpadek zóny dostupnosti, může služba Data Factory znovu spustit aktivity kanálu. Toto opětovné spuštění může vytvořit duplicitní záznamy.

Pokud chcete zabránit vložení duplicitního záznamu z důvodu přechodné chyby, implementujte následující osvědčené postupy:

• Před zápisem do databáze použijte jedinečné identifikátory pro každý záznam. Tento přístup vám může pomoct najít a odstranit duplicitní záznamy.

• Použijte upsert strategii pro konektory, které podporují upsert. Než dojde k vložení duplicitního záznamu, pomocí tohoto přístupu zkontrolujte, jestli záznam již existuje. Pokud existuje, aktualizujte ho. Pokud neexistuje, vložte ho. Například příkazy SQL, jako MERGE nebo ON DUPLICATE KEY UPDATE, používají tento přístup upsert.

• Použijte strategie kopírování akcí. Další informace najdete v tématu Ověření konzistence dat v aktivitě kopírování.

Zásady opakování pokusů

Můžete použít zásady opakování ke konfiguraci částí vaší pipelines pro nové pokusy v případě problému, jako jsou například dočasné chyby v připojených prostředcích. Ve službě Data Factory můžete nakonfigurovat zásady opakování pro následující typy objektů kanálu:

• Spouštěče pro klouzající okno
• Aktivity provádění

Další informace o tom, jak změnit nebo zakázat politiky opakování pro triggery a aktivity data factory, najdete v tématu Spuštění a triggery datového kanálu.

Odolnost proti chybám zóny dostupnosti

Zóny dostupnosti jsou fyzicky oddělené skupiny datacenter v rámci oblasti Azure. Když jedna zóna selže, mohou služby přejít na jednu ze zbývajících zón.

Data Factory podporuje redundanci zón, která zajišťuje odolnost proti chybám v zónách dostupnosti.

Každá část služby Data Factory podporuje redundanci zón:

• Základní služba: Microsoft spravuje komponenty v základní službě Data Factory a rozděluje je mezi zóny dostupnosti.

  Po selhání zóny ale Microsoft nezaručuje stav aktivačních událostí pro přeskakující okno.

• IRs: Podpora redundance zón závisí na typu IR, které používáte.

  • Prostředí Azure IR podporuje redundanci zón a Microsoft tuto funkci spravuje.

    

  • Prostředí IR Azure-SSIS vyžaduje, abyste nasadili alespoň dva uzly. Tyto uzly se automaticky přidělují do různých zón dostupnosti.

    Následující diagram znázorňuje zónově redundantní kanál a prostředí Azure-SSIS Integration Runtime se dvěma uzly nasazenými v různých zónách:

    

  • SHIR vám dává odpovědnost za nasazení výpočetní infrastruktury pro provoz runtime. Můžete nasadit více uzlů, jako jsou jednotlivé virtuální počítače, a nakonfigurovat je pro zajištění vysoké dostupnosti. Tyto uzly pak můžete distribuovat napříč několika zónami dostupnosti. Další informace najdete v tématu Vysoká dostupnost a škálovatelnost.

Požadavky

Zónově redundantní prostředky služby Data Factory je možné nasadit v libovolné oblasti, která podporuje zóny dostupnosti.

Náklady

• Základní služba: Pro redundanci zón se neplatí žádné další poplatky.

• IR: Náklady na redundanci zón se liší v závislosti na typu IR, který používáte.

  • Azure IR zahrnuje redundanci zón bez dalších poplatků.

  • IR Azure-SSIS vyžaduje, abyste k zajištění redundance zón nasadili alespoň dva uzly. Další informace o tom, jak se jednotlivé uzly účtují, najdete v příkladu cen: Spuštění balíčků SSIS v prostředí Azure-SSIS IR.

  • SHIR vyžaduje nasazení a správu výpočetní infrastruktury. Pokud chcete dosáhnout odolnosti zóny, musíte výpočetní prostředky rozložit do více zón. V závislosti na počtu uzlů, které nasazujete a jak je konfigurujete, se můžou stát, že se vám z podkladových výpočetních služeb a dalších podpůrných služeb účtují další náklady. Za spuštění SHIR na více uzlech se neúčtují žádné další poplatky.

Konfigurace podpory zón dostupnosti

• Základní služba: Nevyžaduje se žádná konfigurace. Základní služba Data Factory automaticky podporuje redundanci zón.

• Internal Revenue Service:

  • Prostředí Azure IR: Není potřeba žádná konfigurace. Azure IR automaticky povolí redundanci zón.

  • IR zařízení Azure-SSIS: Nevyžaduje žádnou konfiguraci. Prostředí IR Azure-SSIS automaticky povolí redundanci zón při nasazení se dvěma nebo více uzly.

  • Nástroj SHIR vyžaduje, abyste nakonfigurovali vlastní odolnost, která zahrnuje rozložení uzlů do několika zón dostupnosti.

Plánování a správa kapacity

• Základní služba: Základní služba Data Factory se škáluje automaticky na základě poptávky a nemusíte plánovat ani spravovat kapacitu.

• Internal Revenue Service:

  • Prostředí Azure IR se škáluje automaticky na základě poptávky a nemusíte plánovat ani spravovat kapacitu.

  • Prostředí IR Azure-SSIS vyžaduje, abyste speciálně nakonfigurovali počet uzlů, které používáte. Pokud se chcete připravit na selhání zóny dostupnosti, zvažte naddimenzování kapacity vašeho IR. Předimenzování umožňuje řešení tolerovat určitou míru ztráty kapacity a fungovat dále bez snížení výkonu. Další informace najdete v tématu Správa kapacity prostřednictvím předimenzování.

  • Nástroj SHIR vyžaduje, abyste nakonfigurovali vlastní kapacitu a škálování. Při nasazování SHIR zvažte nadměrné zásobování.

Chování, když jsou všechny zóny v pořádku

Tato část popisuje, co očekávat, když jsou prostředky služby Data Factory nakonfigurované pro redundanci zón a všechny zóny dostupnosti jsou funkční.

• Směrování provozu mezi zónami: Během normálního provozu služba Data Factory automaticky distribuuje aktivity datového toku, triggery a další práci mezi zdravé instance v každé zóně dostupnosti.

• Replikace dat mezi zónami: Služba Data Factory je obecně bezstavová služba, takže mezi zónami není potřeba replikovat žádný stav.

  Spouštěče pro klouzavé okno však obsahují stav, který nemusí být plně replikován mezi zónami.

Chování při selhání zóny

Tato část popisuje, co očekávat, když jsou prostředky služby Data Factory nakonfigurované pro redundanci zón a dojde k výpadku zóny dostupnosti.

• Detekce a odpověď: Platforma Data Factory zodpovídá za detekci selhání v zóně dostupnosti a odpovídá na ně. K zahájení přepnutí při selhání zóny ve vašich pipelinech nebo jiných komponentách nemusíte dělat nic.

• Oznámení: Microsoft vás automaticky neoznámí, když je zóna mimo provoz. Azure Resource Health ale můžete použít k monitorování stavu jednotlivých prostředků a můžete nastavit upozornění služby Resource Health , která vás upozorní na problémy. Pomocí služby Azure Service Health můžete také porozumět celkovému stavu služby, včetně jakýchkoli selhání zón, a můžete nastavit upozornění služby Service Health , která vás upozorní na problémy.

• Aktivní požadavky: Jakékoliv probíhající kanály a spouště pokračují v běhu a nejste okamžitě zasaženi výpadkem zóny. Aktivity probíhající během selhání zóny mohou selhat a musí být restartovány. Je důležité navrhnout činnosti takovým způsobem, aby byly idempotentní, což jim pomáhá obnovit funkčnost po selhání v zóně a dalších poruchách. Další informace naleznete v tématu Odolnost proti přechodným chybám.

• Očekávaný výpadek: Během selhání zóny se neočekává žádný výpadek.

• Očekávaná ztráta dat: Data Factory je celkově bezstavová služba, takže během selhání zóny se neočekává žádná ztráta dat.

  Pokud ale použijete aktivační událost pro tumblové okno, může se stav aktivace po selhání zóny ztratit. Měli byste restartovat nebo znovu spustit všechny triggery, které byly spuštěny v době selhání zóny.

Obnovení zóny

Když se zóna dostupnosti zotaví, služba Data Factory automaticky přepne zpět na původní zónu. Pro zahájení obnovení zóny ve vašich kanálech nebo jiných komponentách nemusíte nic dělat.

Pokud ale používáte SHIR, možná budete muset restartovat výpočetní prostředky, pokud byly zastaveny.

Testování poruch zón

Pro základní službu a pro Azure a Azure-SSIS IR spravuje Data Factory směrování provozu, převzetí služeb při selhání a navrácení služeb po obnovení pro zónově redundantní zdroje. Vzhledem k tomu, že je tato funkce plně spravovaná, nemusíte zahajovat ani ověřovat procesy selhání zóny dostupnosti.

V případě shirs můžete pomocí nástroje Azure Chaos Studio simulovat selhání zóny dostupnosti na virtuálním počítači Azure.

Odolnost proti selháním v celé oblasti

Prostředky služby Data Factory se nasazují do jedné oblasti Azure. Pokud se oblast stane nedostupnou, vaše datová továrna bude také nedostupná. Existují ale přístupy, které můžete použít k zajištění odolnosti vůči výpadkům oblastí. Tyto přístupy závisí na tom, jestli je Datová továrna ve spárované nebo nespárované oblasti a na vašich konkrétních požadavcích a konfiguraci.

Převzetí služeb při selhání spravované Microsoftem do spárované oblasti

Data Factory podporuje převzetí služeb při selhání řízené společností Microsoft pro datové továrny ve spárovaných oblastech s výjimkou Brazílie jih a jihovýchodní Asie. V nepravděpodobném případě dlouhodobého selhání celé oblasti může Microsoft zahájit regionální přepnutí při selhání vaší instance Data Factory.

Vzhledem k požadavkům na rezidenci dat v Brazílii – jih a jihovýchodní Asii se data Data Factory ukládají jenom v místní oblasti pomocí zónově redundantního úložiště Azure Storage. Pro jihovýchodní Asii jsou všechna data uložená v Singapuru. V oblasti Brazílie – jih jsou všechna data uložená v Brazílii.

V případě datových továren v nepairovaných oblastech nebo v Brazílii – jih nebo jihovýchodní Asii microsoft neprovádí místní převzetí služeb při selhání vaším jménem.

Důležité

Microsoft aktivuje Microsoftem spravované převzetí služeb při selhání. Pravděpodobně dojde po významném zpoždění a provede se na základě nejlepšího úsilí. K tomuto procesu existují také některé výjimky. Mohli byste zaznamenat určitou ztrátu metadat datové továrny. Převzetí služeb při selhání u zdrojů služby Data Factory může proběhnout v jiném čase než převzetí služeb při selhání u ostatních služeb Azure.

Pokud potřebujete být odolní vůči výpadkům oblastí, zvažte použití jednoho z vlastních řešení pro více oblastí pro zajištění odolnosti.

Převzetí služeb při selhání systémů

Pokud se chcete připravit na převzetí služeb při selhání, může být potřeba vzít v úvahu některé další aspekty v závislosti na používaném prostředí IR.

• Azure IR můžete nakonfigurovat tak, aby automaticky určil oblast, kterou používá. Pokud je oblast nastavena na automatické řešení a v primární oblasti dojde k výpadku, Azure IR automaticky přejde na spárovaný region. Toto záložní řešení podléhá omezením. Pokud chcete nakonfigurovat oblast Azure IR pro implementaci nebo odeslání aktivity v nastavení IR, nastavte oblast tak, aby automaticky vyřešil.

• Azure-SSIS převzetí služeb při selhání prostředí IR se spravuje odděleně od převzetí služeb při selhání datové továrny spravované Microsoftem. Další informace najdete v tématu Vlastní řešení pro více oblastí pro odolnost.

• Prostředí SHIR běží na infrastruktuře, za kterou zodpovídáte, takže přepnutí při selhání spravované společností Microsoft se nevztahuje na SHIR. Další informace najdete v tématu Vlastní řešení pro více oblastí pro odolnost.

Rekonfigurace po převzetí služeb po selhání

Po dokončení převzetí služeb při selhání řízeného společností Microsoft máte přístup ke svému datovému kanálu služby Data Factory v přidružené oblasti. Po dokončení převzetí služeb při selhání však možná bude třeba provést určitou rekonfiguraci pro Integration Runtimes nebo jiné komponenty. Tento proces zahrnuje opětovné vytvoření konfigurace sítě.

Vlastní řešení pro více regionů pro odolnost systémů

Pokud potřebujete, aby vaše datové toky byly odolné vůči oblastním výpadkům a potřebujete kontrolu nad procesem obnovy při selhání, zvažte použití datových toků řízených metadaty.

• Nastavte správu zdrojového kódu pro službu Data Factory, abyste mohli sledovat a auditovat všechny změny metadat. Tento přístup můžete použít pro přístup k souborům JSON metadat pro kanály, datové sady, propojené služby a triggery. Data Factory podporuje různé typy úložišť Git, jako jsou Azure DevOps a GitHub. Další informace najdete v tématu Správa zdrojového kódu ve službě Data Factory.

• Ke správě metadat a nasazení potrubí použijte systém nepřetržité integrace a průběžného doručování (CI/CD), jako je Azure DevOps. Můžete použít CI/CD k rychlému obnovení provozu instance v jiné oblasti. Pokud oblast není dostupná, můžete novou datovou továrnu zřídit ručně nebo prostřednictvím automatizace. Po vytvoření nové datové továrny můžete obnovit pipeliny, datové sady a JSON konfiguračních souborů propojených služeb z existujícího úložiště Git. Další informace najdete v tématu Provozní kontinuita a zotavení po havárii (BCDR) pro kanály Data Factory a Azure Synapse Analytics.

V závislosti na používaném prostředí IR může být potřeba zvážit další aspekty.

• Azure-SSIS IR používá databázi uloženou ve službě Azure SQL Database nebo Azure SQL Managed Instance. Pro tuto databázi můžete nakonfigurovat geografickou replikaci nebo skupinu pro převzetí služeb při selhání. Databáze Azure-SSIS se nachází v primární oblasti Azure, která má přístup pro čtení i zápis. Databáze se průběžně replikuje do sekundární oblasti, která má přístup jen pro čtení. Pokud primární oblast není dostupná, při selhání se provede automatický převod (failover), což způsobí, že primární a sekundární databáze prohodí role.

  Můžete také nakonfigurovat dvojici Azure SSIS IR v duálním pohotovostním režimu, která pracuje v synchronizaci se skupinou převzetí služeb při selhání pro Azure SQL Database nebo SQL Managed Instance.

  Další informace najdete v tématu Konfigurace Azure-SSIS IR pro BCDR.

• SHIR běží na infrastruktuře, kterou spravujete. Pokud je prostředí SHIR nasazené na virtuální počítač Azure, můžete pomocí Azure Site Recovery aktivovat převzetí služeb při selhání virtuálního počítače do jiné oblasti.

Zálohování a obnovení

Služba Data Factory podporuje CI/CD prostřednictvím integrace správy zdrojového kódu, abyste mohli zálohovat metadata instance datové továrny. Kanály CI/CD bezproblémově nasazují tato metadata do nového prostředí. Další informace najdete v tématu CI/CD ve službě Data Factory.

Smlouva o úrovni služeb

Smlouva o úrovni služeb (SLA) pro služby Azure popisuje očekávanou dostupnost každé služby a podmínky, které musí vaše řešení splnit, aby bylo dosaženo očekávané dostupnosti. Další informace najdete v tématu Smlouvy SLA pro online služby.

Data Factory poskytuje samostatné smlouvy SLA dostupnosti pro:

• Míra úspěšnosti volání rozhraní API, která provedete, například volání pro správu datové továrny.
• Počet spuštění aktivit, která se začnou vykonávat.

Spuštění aktivit je možné krátce zpozdit a vyžadovat, aby všechny závislosti ke spuštění úlohy byly splněny.

Související obsah

• Spolehlivost v Azure