Principy týmů a funkcí pro analýzy v cloudovém měřítku v Azure
V případě analýz v cloudovém měřítku doporučujeme přesunout týmy, jako je ingestování, zpracování, analýza, spotřeba a vizualizace, od práce v horizontálně vysílaných týmů až po agilní vertikální týmy napříč doménami v jednotlivých úrovních. Týmy platforem, jako jsou operace datových platforem a operace platformy, jsou seskupené do společné skupiny platforem.
Skupina platforem
Skupina platformy se skládá ze dvou týmů:
- Provozní operace platformy: Provozní operace platformy jsou součástí skupiny platforem. Provozuje a vlastní cloudovou platformu. Tento tým zodpovídá za vytvoření instance cílové zóny správy dat a generování uživatelského rozhraní cílové zóny dat, jako jsou sítě, peering, základní služba a monitorování v rámci analýz v cloudovém měřítku.
Obvykle pomáhají datovým platformám vyvíjet rozhraní pro správu IT služeb pro osoby v cílové zóně dat na začátku zavádění analýz na úrovni cloudu. Tato rozhraní mají tendenci být volání rozhraní REST API do služby pro onboarding datových produktů, nastavení zabezpečení a přidání služeb do cílových zón dat.
- Operace datových platforem: Skupina ops datových platforem se nachází v rámci skupiny platforem. Operace datové platformy poskytují služby, jako jsou centrální monitorování, katalogizace a opakovaně použitelné zásady pro cílové zóny a produkty dat. Provoz datové platformy vlastní cílovou zónu správy dat a další povinnosti týmu jsou:
Vývoj infrastruktury
- Vývoj šablon infrastruktury jako kódu pro cílovou zónu dat; šablony musí být v průběhu času aktualizovány a udržovány a mohou zahrnovat několik scénářů.
- Určete priority šablon a přidejte nové funkce na základě cyklu zpětné vazby od jiných týmů.
- Pracujte v agilním rozhraní se společným cílem vytvářet standardní šablony infrastruktury.
Reakce na nové žádosti o cílovou zónu dat
Provozní tým datové platformy musí poskytovat nástroje a služby pro podporu šablon, které vytvořily. Nástroje pro správu IT služeb, jako je ServiceNow, můžou zpracovávat žádosti o lístky schválené týmem provozu datové platformy pro vytváření nových cílových zón dat. Po schválení by nová cílová zóna vytvořila fork ze základní šablony a vytvořila nový projekt DevOps a kanály nasadí šablony do nového prostředí.
Zpětná vazba a vylepšení datové platformy
K dispozici jsou dvě možnosti pro vylepšení šablon:
Týmy, které mají na starosti instance šablon infrastruktury, by vylepšily své šablony a nasazení DevOps. Pokud týmy zjistí problémy v šablonách, můžou operace datových platforem podporovat týmy a sloučit změny zpět ze svého forku do šablony.
Ostatní týmy cílových zón dat by měly mít možnost vytvářet lístky vylepšení a backlogu, které by vylepšily šablony na základě toho, jak jsou lístky upřednostňovány.
Zásady Azure pro analýzy v cloudovém měřítku
Principy analýzy v cloudovém měřítku zvýrazňují samoobslužnou flexibilitu a mantinely pro ochranu dat, nákladů a vzorů. Operace datových platforem pracují s provozními operacemi platformy k definování kvality a tyto týmy spolupracují na implementaci konkrétních zásad pro data. Operace datových platforem by měly postupovat podle procesu kontroly a aktualizovat a udržovat nové funkce přidané do produktů.
Nasazení a provoz cílových zón správy dat
Operace datových platforem a provoz platforem spolupracují na nasazení a provozu cílových zón správy dat. Cílová zóna správy dat poskytuje sdílené služby cílovým zónám dat, což z něj dělá centrální část analýzy v cloudovém měřítku.
Operace cílových zón dat
Operace cílových zón dat fungují a udržují instanci cílové zóny dat a reagují na žádosti týmu datových aplikací. Poskytují mnoho stejných služeb jako operace datových platforem, ale jsou omezené na cílovou zónu dat.
Fungují mimo rozvětvované úložiště, které se vytvoří při vytvoření cílové zóny dat. Aby mohli požádat o změny zásad, musí vytvořit lístky do operací datových platforem, aby tyto výjimky povolily.
Podpora týmu datových aplikací pro přizpůsobení datových produktů
Provozní tým cílové zóny dat podporuje tým datových aplikací pomocí žádostí o přijetí změn k odesílání nových šablon produktů do příslušných úložišť produktů.
Jako vlastník cílové zóny by Azure DevOps směroval schválení změn operací cílových zón dat:
Pokud jsou schválené, změny šablony se přesunou do hlavní větve a nasadí se do produkčního prostředí prostřednictvím průběžné integrace nebo průběžného vývoje, což způsobí aktualizaci datové platformy nebo infrastruktury produktu.
V případě odepření by operace cílových zón dat spolupracovaly s týmem datových aplikací na opravu změn.
Reakce na nové žádosti o produkty s daty
Operace cílových zón dat podporují týmy datových aplikací k vytváření nových datových produktů. Když týmy datových aplikací požadují pomoc, řešení správy IT služeb, například aplikace logiky automatizace, orchestruje schválení nebo nasazení nového úložiště datových aplikací. Operace cílových zón dat budou upozorněny na nové žádosti a schvalují nebo odmítnou nasazení. Po schválení se vytvoří nový projekt DevOps, hlavní šablona a artefakty se rozvětví a nasadí se nová datová aplikace.
Dodržování dobře architektuře Azure
Operace cílových zón dat zodpovídají za cílovou zónu dat a doporučuje se, aby tým měl zkušenosti s architekturou Azure Well-Architected Framework, která poskytuje pokyny k optimalizaci nákladů, spolehlivosti a zabezpečení.
Obchodní jako obvykle
Operace cílových zón dat zodpovídají za obchodní úlohy, které zahrnují shromažďování zpětné vazby a žádostí o vylepšení. Tyto požadavky se pravidelně sdílejí s datovými platformami. Tým monitoruje cílovou zónu dat pro incidenty a události stavu. Během závažných incidentů zapojte další provozní týmy, které zmírní zálohování, obnovení záloh, převzetí služeb při selhání a škálování.
Tým datových aplikací
Tým datových aplikací dodává do firmy nové datové produkty. Zdroj z integrací dat čte úložiště dat a transformuje je na obchodní řešení. Cokoli, co transformuje data pro použití, se klasifikuje jako datový produkt. Tento tým je často kombinací technických specialistů a odborníků na danou problematiku, kteří mohou firmě pomoct rychle dosáhnout hodnoty. Datové produkty můžou být různé od jednoduchých sestav a nových datových produktů až po vlastní nastavení pomocí webových aplikací Kubernetes řízených daty.
Nové datové produkty
Vlastníci produktů a obchodní zástupci vytvářejí žádosti o nový datový produkt v případě potřeby. Datová kancelář posuzuje požadavky a sestaví nový tým datových aplikací s řadou odborných znalostí. Tým identifikuje datové produkty požadované pro datový produkt a požádá o oprávnění k datovému assetu. Pokud je potřeba nový datový produkt, tým datových aplikací obdrží lístek k ingestování. Tým identifikuje služby potřebné pro nový datový produkt a požádá o nový datový produkt prostřednictvím procesu nasazení datové aplikace. Tým datových aplikací obdrží forkované úložiště ze šablony hlavní datové aplikace pro nasazení datové aplikace.
Certifikace datových produktů
Na samoobslužné platformě může kdokoli vytvářet sestavy, kurátorovat datové produkty v účtu služby Azure Data Lake Developer Storage a vydávat datové produkty, které může firma používat. Požadavky na kontrolu datového produktu nastanou v případech:
- Obchodní sponzory protokolují lístky pro certifikaci datových produktů.
- Datová platforma ohlasuje datové produkty na základě oblíbenosti.
Tým datových aplikací může řídit proces certifikace, aby byl definován provoz datových platforem a digitální zabezpečení, mezi které může patřit:
- Testy navržené pro ověření transformací dat a obchodní logiky
- Posouzení pro: dopad na zabezpečení, dodržování předpisů nebo výkon
Po certifikaci se artefakty kompletují a nahrávají do úložiště datových produktů, publikují se dokumentace a tým datových aplikací je upozorněn.
Podpora produktů
Uživatelé můžou odeslat zpětnou vazbu s řešením pro správu IT služeb nebo přímo v rámci produktu jako lístek na vlastníka datového produktu. Tento jednotlivý třídění požadavek určí, jestli ji má tým datových aplikací eskalovat, aby opravil nebo zadal zpětnou vazbu do backlogu produktu a zkontroloval během cyklů plánování produktu.
Tým pro aplikace datových věd
I když tým produktů datových věd vytváří datové produkty, je to odlišné, protože jejich funkce vedou k datovým produktům. Výsledkem je, že publikované modely se stanou datovými produkty, které budou používat jiní uživatelé, a vzor se řídí modelem strojového Učení operací, který je přidružený k cílové zóně dat.
Tým produktů pro datové vědy začíná vyhledáváním a hledáním relevantních datových produktů pro případ použití. Řešení zásad správného řízení dat můžou odhalit další podrobnosti, jako je kvalita dat, rodokmen nebo podobná datová sada nebo profil. Zjistí, jestli je k dispozici ukázková datová sada a jestli jsou data pro projekt relevantní. Jakmile je přístup k datům udělen prostřednictvím katalogu dat nebo balíčku microsoft Entra access, tým k prozkoumání a analýze dat použije služby v cílové zóně dat.
Před zpracováním všech dat tým používá místní nebo vzdálené výpočetní prostředky ke zpracování a analýze ukázkových datových produktů. Můžou optimalizovat vzdálené výpočetní cíle s většími datovými produkty pro trénování a vývoj modelů strojového učení s běhy, výstupy a modely, které jsou sledovány uvnitř služby Azure Machine Učení.
Když tým vyvinul modely strojového učení, začnou je zprovoznit. Z tohoto důvodu rozšíří tým tak, aby zahrnoval odborníky na dataOps a strojové učení, kteří můžou pomoct s přesunem modelů do nového datového produktu, jak je popsáno v roli týmu datové aplikace.
Tým datových věd bude dál spolupracovat s přidruženými vlastníky datových produktů, aby zachytil zpětnou vazbu, podporu a vyřešil a aktualizoval modely v produkčním prostředí pomocí metodologie operací strojového učení.
Analytik
Analytici představují velkou skupinu, která zahrnuje obchodní analytiky, mocné uživatele a obecně kdokoli v organizaci se zájmem o optimalizaci dat za účelem vytvoření nových obchodních přehledů. Samoobslužná podpora je klíčovým principem, který podporuje analytiky pro přístup k analýzám a datům bez nutnosti zabezpečit formální rozpočet a prostředky IT.
Tip
Podniky by si měly zobrazit přehledy vytvořené analytiky jako další sadu potenciálních datových produktů, které budou certifikované pro ostatní, aby je mohli používat v rámci firmy.
Vyhledání a vyžádání dat
Analytici se poradit s datovými marketplace a katalogy za účelem zjišťování relevantních datových produktů.
Pokud datový prostředek nejde najít nebo neexistuje, analytici otevřou lístek podpory s týmem datových aplikací. Tým datových aplikací vám pomůže najít datovou sadu nebo přidat žádost do backlogu, aby ji posoudil v jiném vývojovém cyklu.
Pokud datová sada existuje, může analýza identifikovat členství ve skupině Microsoft Entra pro prostředky uvedené v katalogu a pomocí portálu balíčku pro přístup k Azure požádat o přístup ke skupině Microsoft Entra.
Vytváření nových sestav
Analytici můžou k integraci datových produktů do sestav použít nástroje, jako je Microsoft Power BI. Tyto sestavy můžou být určené pro individuální použití nebo publikování certifikovaného datového produktu. Před publikováním sestavy v celé organizaci by bylo potřeba certifikovat proces certifikace datového produktu pro zajištění zabezpečení, dodržování předpisů a výkonu.
Spouštění dotazů podle potřeby
Analýza na úrovni cloudu má sdílené pracovní prostory, ve kterých analytici můžou dotazovat data, a to na základě oprávnění. Datové produkty běžně poskytují vyhrazené výpočetní prostředky pro spouštění dotazů podle potřeby. V obou případech může analytik spouštět dotazy na datové produkty v cílových zónách dat. Podléhá také oprávněním. Výsledky z dotazů je možné uložit do pracovních prostorů Azure Data Lake, které se mají znovu použít.
Zpětná vazba uživatele
Vzhledem k tomu, že analytici můžou sloužit jako nepotřebné informace o zdroji a vylepšení, podnikům se důrazně doporučuje vytvářet skupiny zpětné vazby uživatelů pro každou cílovou zónu dat.
Kromě účasti v těchto skupinách uživatelů by analytici měli odeslat zpětnou vazbu k datovým prostředkům týmu datových aplikací a problémům katalogu dat v rámci katalogu dat nebo řešení pro správu IT služeb. Můžou odeslat problémy s procesem zpracování dat týmu aplikace dat nebo v rámci řešení pro správu IT služeb.
Poznámka
Správa it služeb by měla sloužit jako centrální umístění pro odesílání zpětné vazby a eskalace problémů. Odeslání přímé zpětné vazby jednotlivým týmům se může zdát rychlejším řešením, ale tento přístup neposkytuje obchodnímu přehledu o problémech na platformě. Řešení pro správu IT služeb se správným směrováním do týmů datových aplikací může dát podniku jedno zobrazení v celém podniku.
Matice přiřazení odpovědnosti
- Zodpovědná: Kdo úkol dokončil?
- Odpovědnost: Kdo se rozhoduje a provádí akce na úkolu?
- Konzultace: Kdo přijímá komunikaci o rozhodnutích a úkolu?
- Informované: Kdo se aktualizuje o rozhodnutí a akce během projektu?
| Role | Cloudové prostředí | Cílová zóna správy dat | Cílová zóna dat | Integrace dat | Datové produkty |
|---|---|---|---|---|---|
| Vlastník služby | Informováni | Odpovědné | Informováno | Informováno | Informováno |
| Vlastník služby cílové zóny dat | Informováni | Informováno | Odpovědné | Odpovědné | Odpovědné |
| Provoz cloudové platformy | Odpovědné za | Konzultován | Konzultován | Konzultován | Konzultován |
| Operace datových platforem | Konzultován | Odpovědné za | Odpovědné za | Konzultován | Konzultován |
| Operace cílových zón dat | Informováni | Odpovědné za | Odpovědné za | Odpovědné za | Odpovědné za |
| Tým datových aplikací | Informováni | Informováni | Informováni | Odpovědné za |