Zřízení analýz v cloudovém měřítku
Proces nasazení cílové zóny správy dat
Provozní tým datové platformy zodpovídá za nasazení cílové zóny správy dat. Cílová zóna správy dat by měla mít vlastní úložiště spravované provozním týmem datové platformy.
Upozornění
Vytvořte a nasaďte cílovou zónu správy dat před nasazením jakékoli cílové zóny dat.
Proces nasazení cílové zóny dat
Týmy můžou používat šablony poskytované provozním týmem datové platformy, abyste se vyhnuli úplně od začátku každého prostředku. Doporučujeme vzor forku pro automatizaci nasazení nové cílové zóny.
Provozní tým cílové zóny dat například vyžaduje novou cílovou zónu dat pomocí nástroje pro správu IT nebo Power Apps. Po schválení žádosti spusťte následující pracovní postup pomocí parametrů z požadavku:
- Nasaďte nové předplatné pro novou cílovou zónu dat.
- Vytvořte fork hlavní větve šablony cílové zóny dat a vytvořte nové úložiště.
- Vytvořte připojení služby v novém úložišti.
- Aktualizujte parametry v novém úložišti na základě parametrů z požadavku.
- Vytvořte kanál nasazení pro nasazení služeb aktivovaný vrácením aktualizovaných parametrů se změnami.
- Upozorněte provozní tým cílové zóny dat, že je k dispozici nová cílová zóna.
Provozní tým cílové zóny dat teď může změnit nebo přidat šablony Azure Resource Manageru.
Tento pracovní postup je možné automatizovat pomocí několika sad služeb na platformě Azure. Zpracujte některé kroky, například přejmenování parametrů v souborech parametrů pomocí kanálů CI/CD. Další kroky je možné provést pomocí jiných nástrojů pro orchestraci pracovních postupů, jako jsou Logic Apps.
Vzor forku umožňuje týmům aktualizovat šablony z původních šablon použitých k jejich rozvětvování. Pokud jsou v úložištích šablon implementovány vylepšení nebo nové funkce, můžou je provozní týmy načíst do svého forku.
Osvojte si osvědčené postupy pro úložiště, například:
- Zabezpečte hlavní větev.
- Větve můžete používat ke změnám, aktualizacím a vylepšením.
- Před sloučením změn do hlavní větve definujte vlastníky kódu, kteří schvalují žádosti o přijetí změn.
- Ověřte větve prostřednictvím automatizovaného testování.
- Omezte počet akcí a osob v týmu, například kdo může aktivovat kanály sestavení a verze.
Tip
Koordinujte aktivity mezi týmy a zajistěte, aby se vylepšení nebo nové funkce v původních šablonách replikovaly do všech instancí cílové zóny dat. Provozní týmy můžou načíst změny původní šablony do svého forku.
Proces onboardingu je oddělený od procesu nasazení cílové zóny dat. Toto oddělení vychází z předpokladu, že většina organizací má jako součást cloudového provozního modelu standardní proces nasazení předplatného Azure. Proces onboardingu nasadí standardní podnikové komponenty (například nástroj pro správu IT služeb třetí strany). Dále se nasadí komponenty specifické pro cílovou zónu.
V navrhovaném řešení automatizace nejsou k dispozici žádná rozhraní API Gitu pro klonování, aktualizaci, potvrzení nebo nabízení. Proto je naším přístupem použít účet Azure Automation obsahující runbooky PowerShellu, které:
- Nastavení cílové zóny dat
- Vytvoření forku hlavního úložiště do úložiště Git datové platformy
- Nastavení konfigurací podsítě pro cílovou zónu dat
- Nastavení ID Microsoft Entra
Runbooky používají funkce Gitu GitAutomation z modulu PowerShellu pro práci s úložišti Git. Instalací tohoto modulu do účtu Azure Automation můžou uživatelé v úložištích Git vytvářet, klonovat, dotazovat, odesílat změny, vyžádat a potvrdit operace. Následující obrázek ukazuje GitAutomation modul nainstalovaný v účtu Azure Automation:
Copy-GitRepository Pomocí funkce z GitAutomation modulu naklonujte hlavní úložiště Git z adresy URL určené URL do cesty Git datové platformy určené DestinationPath.
Tento přístup k nasazení cílové zóny dat je flexibilní a zároveň zajišťuje, aby akce splňovaly požadavky organizace. Správa životního cyklu je povolená použitím nových funkcí nebo optimalizací z původních šablon.
Proces nasazení aplikace dat
Po vytvoření cílové zóny dat se může onboarding spustit pro týmy datových aplikací. Provozní týmy datové platformy nebo cílové zóny dat uděluje schválení nasazení.
Nasazení se provádí buď přímo pomocí nástrojů DevOps, nebo se volá prostřednictvím kanálů nebo pracovních postupů vystavených jako rozhraní API. Podobně jako cílová zóna dat začíná nasazením vytvoření forku původního úložiště aplikace dat.
- Uživatel odešle žádost o nové datové aplikační služby.
- Proces pracovního postupu vyžaduje schválení od datové platformy nebo provozního týmu cílové zóny dat.
- Pracovní postup volá rozhraní API pro správu IT služeb k vytvoření požadovaných skupin prostředků a vytvoření připojení služby Azure DevOps. Pracovní postup přiřadí týmu k projektu Azure DevOps.
- Pracovní postup vytvoří fork původního úložiště datové aplikace pro vytvoření cílového projektu Azure DevOps.
- Pracovní postup vytvoří soubor parametrů šablony Azure Resource Manageru a kanály.
- Pracovní postup pak spustí kanál Azure, který vytvoří požadavky na sítě, a další kanál Azure pro nasazení datových aplikačních služeb.
- Pracovní postup upozorní uživatele na dokončení.
Tip
Pokud s DataOps začínáte, projděte si praktické cvičení pro moderní datový sklad v Centru architektury Azure. Scénář testovacího prostředí popisuje fiktivní kancelář pro plánování města, která může toto řešení nasazení používat. Řešení nasazení poskytuje komplexní datový kanál, který se řídí vzorem architektury moderního datového skladu spolu s odpovídajícími procesy DevOps a DataOps, které vyhodnocuje využití parkování a provádí informovaná obchodní rozhodnutí.
Shrnutí
Výše uvedené vzory poskytují řízení, flexibilitu, samoobslužnou správu a správu životního cyklu zásad.
Na začátku projektu má datová platforma jeden projekt Azure DevOps s jednou nebo více Azure Boards. Jednotlivé týmy DevOps se zaměřují na:
- Jedno úložiště pro cílovou zónu správy dat, kanály a připojení služby ke cloudovému prostředí.
- Jedno úložiště šablon pro cílovou zónu dat, kanály pro nasazení instance cílové zóny dat a připojení služeb do cloudových prostředí.
- Jedno úložiště šablon pro datové služby produktů, kanály pro nasazení instance datového produktu a připojení služeb do cloudových prostředí. Tato připojení jsou rozvětvována z cílové zóny dat Azure DevOps Projects.
Po nasazení cílových zón dat předepisuje analýza na úrovni cloudu, že:
- Každá cílová zóna dat bude mít svůj vlastní projekt Azure DevOps s jednou nebo více azure boards.
- Pro každou datovou aplikaci se po schválení žádosti vytvoří fork projektu Azure DevOps cílové zóny dat.
- Každá datová aplikace zahrnuje:
- Připojení služby.
- Registrovaný kanál.
- Tým DevOps s přístupem ke své desce a úložišti Azure.
- Jiná sada zásad pro forkované úložiště.
Pokud chcete řídit nasazení datových aplikací, postupujte podle těchto postupů:
- Provozní tým cílové zóny dat vlastní a zabezpečuje hlavní větev úložiště.
- K nasazení do testovacího a produkčního prostředí se používá pouze hlavní větev.
- Větve funkcí se můžou nasadit do vývojových prostředí.
- Větve funkcí vlastní týmy DataOps. Slouží k testování nových nebo upravených funkcí.
- Týmy DataOps můžou sloučit větve funkcí do jiných větví funkcí bez schválení.
- Týmy DataOps vytvoří žádost o přijetí změn pro sloučení větví funkcí do hlavní větve a provozní tým cílové zóny dat poskytne schválení.
- Nové funkce nebo vylepšení původních šablon se sloučí do rozvětvovaného úložiště, aby se aktualizovaly.