Sdílet prostřednictvím


Principy týmů a funkcí pro analýzy v cloudovém měřítku v Azure

V případě analýz v cloudovém měřítku doporučujeme přesunout týmy, jako je ingestování, zpracování, analýza, spotřeba a vizualizace, od práce v horizontálně vysílaných týmů až po agilní vertikální týmy napříč doménami v jednotlivých úrovních. Týmy platforem, jako jsou operace datových platforem a operace platformy, jsou seskupené do společné skupiny platforem.

Diagram of cloud-scale analytics teams.

Skupina platforem

Skupina platformy se skládá ze dvou týmů:

  • Provozní operace platformy: Provozní operace platformy jsou součástí skupiny platforem. Provozuje a vlastní cloudovou platformu. Tento tým zodpovídá za vytvoření instance cílové zóny správy dat a generování uživatelského rozhraní cílové zóny dat, jako jsou sítě, peering, základní služba a monitorování v rámci analýz v cloudovém měřítku.

Obvykle pomáhají datovým platformám vyvíjet rozhraní pro správu IT služeb pro osoby v cílové zóně dat na začátku zavádění analýz na úrovni cloudu. Tato rozhraní mají tendenci být volání rozhraní REST API do služby pro onboarding datových produktů, nastavení zabezpečení a přidání služeb do cílových zón dat.

  • Operace datových platforem: Skupina ops datových platforem se nachází v rámci skupiny platforem. Operace datové platformy poskytují služby, jako jsou centrální monitorování, katalogizace a opakovaně použitelné zásady pro cílové zóny a produkty dat. Provoz datové platformy vlastní cílovou zónu správy dat a další povinnosti týmu jsou:

Vývoj infrastruktury

  • Vývoj šablon infrastruktury jako kódu pro cílovou zónu dat; šablony musí být v průběhu času aktualizovány a udržovány a mohou zahrnovat několik scénářů.
  • Určete priority šablon a přidejte nové funkce na základě cyklu zpětné vazby od jiných týmů.
  • Pracujte v agilním rozhraní se společným cílem vytvářet standardní šablony infrastruktury.

Reakce na nové žádosti o cílovou zónu dat

Provozní tým datové platformy musí poskytovat nástroje a služby pro podporu šablon, které vytvořily. Nástroje pro správu IT služeb, jako je ServiceNow, můžou zpracovávat žádosti o lístky schválené týmem provozu datové platformy pro vytváření nových cílových zón dat. Po schválení by nová cílová zóna vytvořila fork ze základní šablony a vytvořila nový projekt DevOps a kanály nasadí šablony do nového prostředí.

Zpětná vazba a vylepšení datové platformy

K dispozici jsou dvě možnosti pro vylepšení šablon:

  • Týmy, které mají na starosti instance šablon infrastruktury, by vylepšily své šablony a nasazení DevOps. Pokud týmy zjistí problémy v šablonách, můžou operace datových platforem podporovat týmy a sloučit změny zpět ze svého forku do šablony.

  • Ostatní týmy cílových zón dat by měly mít možnost vytvářet lístky vylepšení a backlogu, které by vylepšily šablony na základě toho, jak jsou lístky upřednostňovány.

Zásady Azure pro analýzy v cloudovém měřítku

Principy analýzy v cloudovém měřítku zvýrazňují samoobslužnou flexibilitu a mantinely pro ochranu dat, nákladů a vzorů. Operace datových platforem pracují s provozními operacemi platformy k definování kvality a tyto týmy spolupracují na implementaci konkrétních zásad pro data. Operace datových platforem by měly postupovat podle procesu kontroly a aktualizovat a udržovat nové funkce přidané do produktů.

Nasazení a provoz cílových zón správy dat

Operace datových platforem a provoz platforem spolupracují na nasazení a provozu cílových zón správy dat. Cílová zóna správy dat poskytuje sdílené služby cílovým zónám dat, což z něj dělá centrální část analýzy v cloudovém měřítku.

Operace cílových zón dat

Operace cílových zón dat fungují a udržují instanci cílové zóny dat a reagují na žádosti týmu datových aplikací. Poskytují mnoho stejných služeb jako operace datových platforem, ale jsou omezené na cílovou zónu dat.

Fungují mimo rozvětvované úložiště, které se vytvoří při vytvoření cílové zóny dat. Aby mohli požádat o změny zásad, musí vytvořit lístky do operací datových platforem, aby tyto výjimky povolily.

Podpora týmu datových aplikací pro přizpůsobení datových produktů

Provozní tým cílové zóny dat podporuje tým datových aplikací pomocí žádostí o přijetí změn k odesílání nových šablon produktů do příslušných úložišť produktů.

Jako vlastník cílové zóny by Azure DevOps směroval schválení změn operací cílových zón dat:

  • Pokud jsou schválené, změny šablony se přesunou do hlavní větve a nasadí se do produkčního prostředí prostřednictvím průběžné integrace nebo průběžného vývoje, což způsobí aktualizaci datové platformy nebo infrastruktury produktu.

  • V případě odepření by operace cílových zón dat spolupracovaly s týmem datových aplikací na opravu změn.

Reakce na nové žádosti o produkty s daty

Operace cílových zón dat podporují týmy datových aplikací k vytváření nových datových produktů. Když týmy datových aplikací požadují pomoc, řešení správy IT služeb, například aplikace logiky automatizace, orchestruje schválení nebo nasazení nového úložiště datových aplikací. Operace cílových zón dat budou upozorněny na nové žádosti a schvalují nebo odmítnou nasazení. Po schválení se vytvoří nový projekt DevOps, hlavní šablona a artefakty se rozvětví a nasadí se nová datová aplikace.

Dodržování dobře architektuře Azure

Operace cílových zón dat zodpovídají za cílovou zónu dat a doporučuje se, aby tým měl zkušenosti s architekturou Azure Well-Architected Framework, která poskytuje pokyny k optimalizaci nákladů, spolehlivosti a zabezpečení.

Obchodní jako obvykle

Operace cílových zón dat zodpovídají za obchodní úlohy, které zahrnují shromažďování zpětné vazby a žádostí o vylepšení. Tyto požadavky se pravidelně sdílejí s datovými platformami. Tým monitoruje cílovou zónu dat pro incidenty a události stavu. Během závažných incidentů zapojte další provozní týmy, které zmírní zálohování, obnovení záloh, převzetí služeb při selhání a škálování.

Tým datových aplikací

Tým datových aplikací dodává do firmy nové datové produkty. Zdroj z integrací dat čte úložiště dat a transformuje je na obchodní řešení. Cokoli, co transformuje data pro použití, se klasifikuje jako datový produkt. Tento tým je často kombinací technických specialistů a odborníků na danou problematiku, kteří mohou firmě pomoct rychle dosáhnout hodnoty. Datové produkty můžou být různé od jednoduchých sestav a nových datových produktů až po vlastní nastavení pomocí webových aplikací Kubernetes řízených daty.

Nové datové produkty

Vlastníci produktů a obchodní zástupci vytvářejí žádosti o nový datový produkt v případě potřeby. Datová kancelář posuzuje požadavky a sestaví nový tým datových aplikací s řadou odborných znalostí. Tým identifikuje datové produkty požadované pro datový produkt a požádá o oprávnění k datovému assetu. Pokud je potřeba nový datový produkt, tým datových aplikací obdrží lístek k ingestování. Tým identifikuje služby potřebné pro nový datový produkt a požádá o nový datový produkt prostřednictvím procesu nasazení datové aplikace. Tým datových aplikací obdrží forkované úložiště ze šablony hlavní datové aplikace pro nasazení datové aplikace.

Certifikace datových produktů

Na samoobslužné platformě může kdokoli vytvářet sestavy, kurátorovat datové produkty v účtu služby Azure Data Lake Developer Storage a vydávat datové produkty, které může firma používat. Požadavky na kontrolu datového produktu nastanou v případech:

  • Obchodní sponzory protokolují lístky pro certifikaci datových produktů.
  • Datová platforma ohlasuje datové produkty na základě oblíbenosti.

Tým datových aplikací může řídit proces certifikace, aby byl definován provoz datových platforem a digitální zabezpečení, mezi které může patřit:

  • Testy navržené pro ověření transformací dat a obchodní logiky
  • Posouzení pro: dopad na zabezpečení, dodržování předpisů nebo výkon

Po certifikaci se artefakty kompletují a nahrávají do úložiště datových produktů, publikují se dokumentace a tým datových aplikací je upozorněn.

Podpora produktů

Uživatelé můžou odeslat zpětnou vazbu s řešením pro správu IT služeb nebo přímo v rámci produktu jako lístek na vlastníka datového produktu. Tento jednotlivý třídění požadavek určí, jestli ji má tým datových aplikací eskalovat, aby opravil nebo zadal zpětnou vazbu do backlogu produktu a zkontroloval během cyklů plánování produktu.

Tým pro aplikace datových věd

I když tým produktů datových věd vytváří datové produkty, je to odlišné, protože jejich funkce vedou k datovým produktům. Výsledkem je, že publikované modely se stanou datovými produkty, které budou používat jiní uživatelé, a vzor se řídí modelem strojového Učení operací, který je přidružený k cílové zóně dat.

Tým produktů pro datové vědy začíná vyhledáváním a hledáním relevantních datových produktů pro případ použití. Řešení zásad správného řízení dat můžou odhalit další podrobnosti, jako je kvalita dat, rodokmen nebo podobná datová sada nebo profil. Zjistí, jestli je k dispozici ukázková datová sada a jestli jsou data pro projekt relevantní. Jakmile je přístup k datům udělen prostřednictvím katalogu dat nebo balíčku microsoft Entra access, tým k prozkoumání a analýze dat použije služby v cílové zóně dat.

Před zpracováním všech dat tým používá místní nebo vzdálené výpočetní prostředky ke zpracování a analýze ukázkových datových produktů. Můžou optimalizovat vzdálené výpočetní cíle s většími datovými produkty pro trénování a vývoj modelů strojového učení s běhy, výstupy a modely, které jsou sledovány uvnitř služby Azure Machine Učení.

Když tým vyvinul modely strojového učení, začnou je zprovoznit. Z tohoto důvodu rozšíří tým tak, aby zahrnoval odborníky na dataOps a strojové učení, kteří můžou pomoct s přesunem modelů do nového datového produktu, jak je popsáno v roli týmu datové aplikace.

Tým datových věd bude dál spolupracovat s přidruženými vlastníky datových produktů, aby zachytil zpětnou vazbu, podporu a vyřešil a aktualizoval modely v produkčním prostředí pomocí metodologie operací strojového učení.

Analytik

Analytici představují velkou skupinu, která zahrnuje obchodní analytiky, mocné uživatele a obecně kdokoli v organizaci se zájmem o optimalizaci dat za účelem vytvoření nových obchodních přehledů. Samoobslužná podpora je klíčovým principem, který podporuje analytiky pro přístup k analýzám a datům bez nutnosti zabezpečit formální rozpočet a prostředky IT.

Tip

Podniky by si měly zobrazit přehledy vytvořené analytiky jako další sadu potenciálních datových produktů, které budou certifikované pro ostatní, aby je mohli používat v rámci firmy.

Vyhledání a vyžádání dat

Analytici se poradit s datovými marketplace a katalogy za účelem zjišťování relevantních datových produktů.

  • Pokud datový prostředek nejde najít nebo neexistuje, analytici otevřou lístek podpory s týmem datových aplikací. Tým datových aplikací vám pomůže najít datovou sadu nebo přidat žádost do backlogu, aby ji posoudil v jiném vývojovém cyklu.

  • Pokud datová sada existuje, může analýza identifikovat členství ve skupině Microsoft Entra pro prostředky uvedené v katalogu a pomocí portálu balíčku pro přístup k Azure požádat o přístup ke skupině Microsoft Entra.

Vytváření nových sestav

Analytici můžou k integraci datových produktů do sestav použít nástroje, jako je Microsoft Power BI. Tyto sestavy můžou být určené pro individuální použití nebo publikování certifikovaného datového produktu. Před publikováním sestavy v celé organizaci by bylo potřeba certifikovat proces certifikace datového produktu pro zajištění zabezpečení, dodržování předpisů a výkonu.

Spouštění dotazů podle potřeby

Analýza na úrovni cloudu má sdílené pracovní prostory, ve kterých analytici můžou dotazovat data, a to na základě oprávnění. Datové produkty běžně poskytují vyhrazené výpočetní prostředky pro spouštění dotazů podle potřeby. V obou případech může analytik spouštět dotazy na datové produkty v cílových zónách dat. Podléhá také oprávněním. Výsledky z dotazů je možné uložit do pracovních prostorů Azure Data Lake, které se mají znovu použít.

Zpětná vazba uživatele

Vzhledem k tomu, že analytici můžou sloužit jako nepotřebné informace o zdroji a vylepšení, podnikům se důrazně doporučuje vytvářet skupiny zpětné vazby uživatelů pro každou cílovou zónu dat.

Kromě účasti v těchto skupinách uživatelů by analytici měli odeslat zpětnou vazbu k datovým prostředkům týmu datových aplikací a problémům katalogu dat v rámci katalogu dat nebo řešení pro správu IT služeb. Můžou odeslat problémy s procesem zpracování dat týmu aplikace dat nebo v rámci řešení pro správu IT služeb.

Poznámka

Správa it služeb by měla sloužit jako centrální umístění pro odesílání zpětné vazby a eskalace problémů. Odeslání přímé zpětné vazby jednotlivým týmům se může zdát rychlejším řešením, ale tento přístup neposkytuje obchodnímu přehledu o problémech na platformě. Řešení pro správu IT služeb se správným směrováním do týmů datových aplikací může dát podniku jedno zobrazení v celém podniku.

Matice přiřazení odpovědnosti

  • Zodpovědná: Kdo úkol dokončil?
  • Odpovědnost: Kdo se rozhoduje a provádí akce na úkolu?
  • Konzultace: Kdo přijímá komunikaci o rozhodnutích a úkolu?
  • Informované: Kdo se aktualizuje o rozhodnutí a akce během projektu?
Role Cloudové prostředí Cílová zóna správy dat Cílová zóna dat Integrace dat Datové produkty
Vlastník služby Informováni Odpovědné Informováno Informováno Informováno
Vlastník služby cílové zóny dat Informováni Informováno Odpovědné Odpovědné Odpovědné
Provoz cloudové platformy Odpovědné za Konzultován Konzultován Konzultován Konzultován
Operace datových platforem Konzultován Odpovědné za Odpovědné za Konzultován Konzultován
Operace cílových zón dat Informováni Odpovědné za Odpovědné za Odpovědné za Odpovědné za
Tým datových aplikací Informováni Informováni Informováni Odpovědné za

Další kroky

Dobře navržená architektura Azure pro datové úlohy