Převzetí služeb při selhání pro provozní kontinuitu a zotavení po havárii
Pokud chcete maximalizovat dobu provozu, naplánujte si dopředu zachování kontinuity podnikových procesů a připravte se na zotavení po havárii pomocí služby Azure Machine Učení.
Microsoft se snaží zajistit, aby byly služby Azure vždy dostupné. K neplánovaným výpadkům služeb ale může dojít. Doporučujeme mít zavedený plán zotavení po havárii pro zpracování regionálních výpadků služeb. V tomto článku získáte informace o těchto tématech:
- Naplánujte nasazení azure machine Učení s více oblastmi a přidružených prostředků.
- Maximalizujte šance na obnovení protokolů, poznámkových bloků, imagí Dockeru a dalších metadat.
- Návrh pro zajištění vysoké dostupnosti vašeho řešení
- Zahajte převzetí služeb při selhání do jiné oblasti.
Důležité
Služba Azure Machine Learning sama o sobě neposkytuje automatické převzetí služeb při selhání nebo zotavení po havárii. Zálohování a obnovení metadat pracovního prostoru, jako je historie spuštění, není k dispozici.
V případě, že jste omylem odstranili pracovní prostor nebo odpovídající komponenty, najdete v tomto článku také aktuálně podporované možnosti obnovení.
Principy služeb Azure pro službu Azure Machine Učení
Azure Machine Učení závisí na několika službách Azure. Některé z těchto služeb se zřizují ve vašem předplatném. Zodpovídáte za konfiguraci těchto služeb s vysokou dostupností. Jiné služby se vytvářejí v předplatném Microsoftu a spravuje je Microsoft.
Mezi služby Azure patří:
Infrastruktura Učení Azure Machine: Prostředí spravované Microsoftem pro pracovní prostor Azure Machine Učení.
Přidružené prostředky: Prostředky zřízené ve vašem předplatném během vytváření pracovního prostoru Azure Machine Učení. Mezi tyto prostředky patří Azure Storage, Azure Key Vault, Azure Container Registry a Přehledy aplikací.
- Výchozí úložiště obsahuje data, jako jsou model, trénovací data protokolu a odkazy na datové prostředky.
- Key Vault má přihlašovací údaje pro úložiště dat Azure Storage, Container Registry a úložiště dat.
- Container Registry má image Dockeru pro trénovací a odvozovací prostředí.
- Přehledy aplikace slouží k monitorování Učení azure Machine.
Výpočetní prostředky: Prostředky, které vytvoříte po nasazení pracovního prostoru. Můžete například vytvořit výpočetní instanci nebo výpočetní cluster pro trénování modelu Učení počítače.
- Výpočetní instance a výpočetní cluster: Vývojová prostředí modelu spravovaná Microsoftem
- Další prostředky: Výpočetní prostředky Microsoftu, které můžete připojit ke službě Azure Machine Učení, jako je Azure Kubernetes Service (AKS), Azure Databricks, Azure Container Instances a Azure HDInsight. Zodpovídáte za konfiguraci nastavení vysoké dostupnosti pro tyto prostředky.
Další úložiště dat: Azure Machine Učení může připojit další úložiště dat, jako je Azure Storage a Azure Data Lake Storage pro trénovací data. Tato úložiště dat se zřizují v rámci vašeho předplatného. Zodpovídáte za konfiguraci nastavení vysoké dostupnosti. Další možnosti úložiště dat najdete v tématu Vytváření úložišť dat.
Následující tabulka uvádí, že služby Azure spravuje Microsoft a které spravujete vy. Označuje také služby, které jsou ve výchozím nastavení vysoce dostupné.
| Služba | Spravuje ho | Vysoká dostupnost ve výchozím nastavení |
|---|---|---|
| Infrastruktura služby Azure Machine Učení | Microsoft | |
| Přidružené prostředky | ||
| Azure Storage | Vy | |
| Key Vault | Vy | ✓ |
| Container Registry | Vy | |
| Application Insights | Vy | NA |
| Výpočetní prostředky | ||
| Výpočetní instance | Microsoft | |
| Výpočtový cluster | Microsoft | |
| Další výpočetní prostředky, jako je AKS, Azure Databricks, Container Instances, HDInsight |
Vy | |
| Další úložiště dat, jako je Azure Storage, SQL Database, Azure Database for PostgreSQL, Azure Database for MySQL, Systém souborů Azure Databricks |
Vy |
Zbytek tohoto článku popisuje akce, které potřebujete k zajištění vysoké dostupnosti každé z těchto služeb.
Plánování nasazení ve více oblastech
Víceregionální nasazení spoléhá na vytvoření služby Azure Machine Učení a dalších prostředků (infrastruktury) ve dvou oblastech Azure. Pokud dojde k výpadku oblasti, můžete přepnout na jinou oblast. Při plánování nasazení prostředků zvažte:
Regionální dostupnost: Pokud je to možné, použijte oblast ve stejné geografické oblasti, nikoli nutně oblast, která je nejblíže. Pokud chcete zkontrolovat regionální dostupnost pro službu Azure Machine Učení, přečtěte si informace o produktech Azure v jednotlivých oblastech.
Spárované oblasti Azure: Spárované oblasti koordinuje aktualizace platformy a v případě potřeby upřednostňují úsilí o obnovení. Ne všechny oblasti však podporují spárované oblasti. Další informace najdete v tématu Spárované oblasti Azure.
Dostupnost služby: Rozhodněte se, jestli mají být prostředky používané vaším řešením horké, horké, teplé nebo horké nebo studené.
- Horká/horká: Obě oblasti jsou aktivní současně, přičemž jedna oblast je připravená k okamžitému použití.
- Horká/teplá: Primární oblast aktivní, sekundární oblast má kritické prostředky (například nasazené modely) připravené ke spuštění. Nekritické prostředky by bylo potřeba ručně nasadit v sekundární oblasti.
- Horká/studená: Primární oblast aktivní, sekundární oblast má nasazené Učení Azure a další prostředky spolu s potřebnými daty. Prostředky, jako jsou modely, nasazení modelů nebo kanály, by bylo potřeba nasadit ručně.
Tip
V závislosti na vašich obchodníchpožadavch Učení ch Například pro nasazené modely (odvozování) můžete chtít použít horkou/horkou a studenou pro experimenty (trénování).
Azure Machine Učení vychází z jiných služeb. Některé služby je možné nakonfigurovat tak, aby se replikovaly do jiných oblastí. Ostatní musíte vytvořit ručně ve více oblastech. Následující tabulka obsahuje seznam služeb, které jsou zodpovědné za replikaci, a přehled konfigurace:
| Služba Azure | Geograficky replikované podle | Konfigurace |
|---|---|---|
| Pracovní prostor Učení počítače | Vy | Vytvořte pracovní prostor ve vybraných oblastech. |
| Výpočetní Učení počítače | Vy | Vytvořte výpočetní prostředky ve vybraných oblastech. U výpočetních prostředků, které se můžou dynamicky škálovat, se ujistěte, že obě oblasti poskytují dostatečnou kvótu výpočetních prostředků pro vaše potřeby. |
| Registr Učení počítače | Vy | Vytvořte registr ve více oblastech. |
| Key Vault | Microsoft | Použijte stejnou instanci služby Key Vault s pracovním prostorem a prostředky Azure Machine Učení v obou oblastech. Key Vault automaticky převezme služby při selhání do sekundární oblasti. Další informace najdete v tématu Dostupnost a redundance služby Azure Key Vault. |
| Container Registry | Microsoft | Nakonfigurujte instanci služby Container Registry tak, aby geograficky replikovala registry do spárované oblasti pro službu Azure Machine Učení. Pro obě instance pracovního prostoru použijte stejnou instanci. Další informace najdete v tématu Geografická replikace ve službě Azure Container Registry. |
| Účet úložiště | Vy | Azure Machine Učení nepodporuje výchozí převzetí služeb při selhání účtu úložiště pomocí geograficky redundantního úložiště (GRS), geograficky zónově redundantního úložiště (GZRS), geograficky redundantního úložiště jen pro čtení (RA-GRS) nebo geograficky zónově redundantního úložiště jen pro čtení (RA-GZRS). Vytvořte samostatný účet úložiště pro výchozí úložiště každého pracovního prostoru. Vytvořte samostatné účty úložiště nebo služby pro jiné úložiště dat. Další informace najdete v článku Možnosti redundance Azure Storage. |
| Application Insights | Vy | Vytvořte Přehledy aplikace pro pracovní prostor v obou oblastech. Informace o úpravě doby uchovávání dat a podrobností najdete v tématu Shromažďování, uchovávání a ukládání dat v Přehledy aplikace. |
Pokud chcete v sekundární oblasti povolit rychlé obnovení a restartování, doporučujeme následující postupy vývoje:
- Použijte šablony Azure Resource Manageru. Šablony jsou infrastruktura jako kód a umožňují rychle nasazovat služby v obou oblastech.
- Abyste se vyhnuli posunu mezi dvěma oblastmi, aktualizujte kanály kontinuální integrace a nasazení do obou oblastí.
- Při automatizaci nasazení zahrňte konfiguraci připojených výpočetních prostředků pracovního prostoru, jako je Azure Kubernetes Service.
- Vytvořte přiřazení rolí pro uživatele v obou oblastech.
- Vytvořte síťové prostředky, jako jsou virtuální sítě Azure a privátní koncové body pro obě oblasti. Ujistěte se, že uživatelé mají přístup k oběma síťovým prostředím. Například konfigurace VPN a DNS pro obě virtuální sítě.
Výpočetní a datové služby
V závislosti na vašich potřebách můžete mít více výpočetních nebo datových služeb, které používají Učení Azure Machine. Můžete například použít Azure Kubernetes Services nebo Azure SQL Database. Následující informace vám pomůžou zjistit, jak tyto služby nakonfigurovat pro zajištění vysoké dostupnosti.
Výpočetní prostředky
- Azure Kubernetes Service: Projděte si osvědčené postupy pro provozní kontinuitu a zotavení po havárii ve službě Azure Kubernetes Service (AKS) a vytvořte cluster Azure Kubernetes Service (AKS), který používá zóny dostupnosti. Pokud byl cluster AKS vytvořen pomocí studio Azure Machine Learning, sady SDK nebo rozhraní příkazového řádku, vysoká dostupnost mezi oblastmi se nepodporuje.
- Azure Databricks: Viz oblastní zotavení po havárii pro clustery Azure Databricks.
- Container Instances: Orchestrátor zodpovídá za převzetí služeb při selhání. Viz Azure Container Instances a orchestrátory kontejnerů.
- HDInsight: Viz služby s vysokou dostupností podporované službou Azure HDInsight.
Datové služby
- Kontejner objektů blob Azure / Azure Files / Data Lake Storage Gen2: Viz redundance služby Azure Storage.
- Data Lake Storage Gen1: Projděte si pokyny pro vysokou dostupnost a zotavení po havárii pro Data Lake Storage Gen1.
Tip
Pokud zadáte vlastní klíč spravovaný zákazníkem pro nasazení pracovního prostoru Azure Machine Učení, služba Azure Cosmos DB se také zřídí v rámci vašeho předplatného. V takovém případě zodpovídáte za konfiguraci nastavení vysoké dostupnosti. Podívejte se na vysokou dostupnost ve službě Azure Cosmos DB.
Návrh pro zajištění vysoké dostupnosti
Zóny dostupnosti
Některé služby Azure podporují zóny dostupnosti. Pro oblasti, které podporují zóny dostupnosti, pokud zóna přestane fungovat, pozastaví se úlohy a data by se měla uložit. Data se ale neaktualizuje, dokud se zóna nevrátí do online režimu.
Další informace najdete v tématu Služba zóny dostupnosti a podpora v oblasti.
Nasazení důležitých komponent do několika oblastí
Určete úroveň kontinuity podnikových procesů, na kterou se zaměřujete. Úroveň se může lišit mezi komponentami vašeho řešení. Můžete například chtít mít horkou/horkou konfiguraci pro produkční kanály nebo nasazení modelu a horkou/studenou pro experimentování.
Správa trénovacích dat v izolovaném úložišti
Když necháte úložiště dat izolované od výchozího úložiště, které pracovní prostor používá pro protokoly, můžete:
- Připojte stejné instance úložiště jako úložiště dat k primárním a sekundárním pracovním prostorům.
- Využijte geografickou replikaci pro účty úložiště dat a maximalizujte dobu provozu.
Správa prostředků strojového učení jako kódu
Poznámka:
Zálohování a obnovení metadat pracovního prostoru, jako je historie spuštění, modely a prostředí, nejsou k dispozici. Zadání prostředků a konfigurací jako kódu pomocí specifikací YAML vám pomůže znovu vytvořit prostředky napříč pracovními prostory v případě havárie.
Úlohy ve službě Azure Machine Učení jsou definované specifikací úlohy. Tato specifikace zahrnuje závislosti na vstupních artefaktech spravovaných na úrovni instance pracovního prostoru, včetně prostředí a výpočetních prostředků. Pro odesílání a nasazení úloh ve více oblastech doporučujeme následující postupy:
Spravujte základ kódu místně, který je založený na úložišti Git.
- Export důležitých poznámkových bloků z studio Azure Machine Learning
- Export kanálů vytvořených v nástroji Studio jako kódu
Správa konfigurací jako kódu
- Vyhněte se pevně zakódovaným odkazům na pracovní prostor. Místo toho nakonfigurujte odkaz na instanci pracovního prostoru pomocí konfiguračního souboru a k inicializaci pracovního prostoru použijte MLClient.from_config().
- Pokud používáte vlastní image Dockeru, použijte soubor Dockerfile.
Inicializace převzetí služeb při selhání
Pokračovat v práci v pracovním prostoru převzetí služeb při selhání
Jakmile bude váš primární pracovní prostor nedostupný, můžete přepnout sekundární pracovní prostor a pokračovat v experimentování a vývoji. Azure Machine Učení automaticky neodesílaje úlohy do sekundárního pracovního prostoru, pokud dojde k výpadku. Aktualizujte konfiguraci kódu tak, aby odkazovat na nový prostředek pracovního prostoru. Doporučujeme vyhnout se pevně zakódování odkazů na pracovní prostor. Místo toho použijte konfigurační soubor pracovního prostoru k minimalizaci ručních uživatelských kroků při změně pracovních prostorů. Nezapomeňte aktualizovat všechny automatizace, jako je kontinuální integrace a kanály nasazení, do nového pracovního prostoru.
Azure Machine Učení nemůže synchronizovat ani obnovit artefakty nebo metadata mezi instancemi pracovního prostoru. V závislosti na strategii nasazení aplikace možná budete muset přesunout artefakty nebo znovu vytvořit vstupy experimentování, jako jsou datové prostředky, v pracovním prostoru převzetí služeb při selhání, aby bylo možné pokračovat v odesílání úloh. Pokud jste nakonfigurovali primární pracovní prostor a sekundární prostředky pracovního prostoru tak, aby sdílely přidružené prostředky s povolenou geografickou replikací, můžou být některé objekty přímo dostupné pro pracovní prostor převzetí služeb při selhání. Pokud například oba pracovní prostory sdílejí stejné image Dockeru, nakonfigurované úložiště dat a prostředky služby Azure Key Vault. Následující diagram znázorňuje konfiguraci, ve které dva pracovní prostory sdílejí stejné image (1), úložiště dat (2) a Key Vault (3).
Poznámka:
Všechny úlohy spuštěné při výpadku služby se automaticky nepřevedou do sekundárního pracovního prostoru. Je také nepravděpodobné, že se úlohy obnoví a úspěšně dokončí v primárním pracovním prostoru po vyřešení výpadku. Místo toho je nutné tyto úlohy znovu odeslat, a to buď v sekundárním pracovním prostoru, nebo v primárním pracovním prostoru (po vyřešení výpadku).
Přesouvání artefaktů mezi pracovními prostory
V závislosti na vašem přístupu k obnovení možná budete muset zkopírovat artefakty mezi pracovními prostory, abyste mohli pokračovat v práci. V současné době je přenositelnost artefaktů mezi pracovními prostory omezená. Pokud je to možné, doporučujeme spravovat artefakty jako kód, aby se mohly znovu vytvořit v instanci převzetí služeb při selhání.
Mezi pracovními prostory je možné exportovat a importovat následující artefakty pomocí rozšíření Azure CLI pro strojové učení:
Tip
- Výstupy úloh se ukládají ve výchozím účtu úložiště přidruženém k pracovnímu prostoru. I když výstupy úloh můžou být v případě výpadku služby nepřístupné v uživatelském rozhraní studia, můžete k datům přistupovat přímo přes účet úložiště. Další informace o práci s daty uloženými v objektech blob najdete v tématu Vytvoření, stažení a výpis objektů blob pomocí Azure CLI.
Možnosti obnovení
Odstranění pracovního prostoru
Pokud jste pracovní prostor odstranili omylem, možná ho budete moct obnovit. Postup obnovení najdete v tématu Obnovení dat pracovního prostoru po náhodném odstranění pomocí obnovitelného odstranění.
I když se váš pracovní prostor nedá obnovit, možná budete moct poznámkové bloky načíst z prostředku úložiště Azure přidruženého k pracovnímu prostoru pomocí následujícího postupu:
- Na webu Azure Portal přejděte k účtu úložiště, který byl propojený s odstraněnou Učení pracovním prostorem Azure Machine.
- V části Úložiště dat na levé straně vyberte Sdílené složky.
- Poznámkové bloky se nacházejí ve sdílené složce s názvem, který obsahuje vaše ID pracovního prostoru.
Další kroky
Pokud se chcete dozvědět o opakovatelných nasazeních infrastruktury pomocí služby Azure Machine Učení, použijte šablonu Azure Resource Manageru.