Kompletní analýza s využitím Azure Synapse

Azure Synapse Analytics

Azure Cosmos DB

Azure Data Factory

Azure Databricks

Azure Event Hubs

Řešení popsané v tomto článku kombinuje celou řadu služeb Azure, které budou ingestovat, ukládat, zpracovávat, rozšiřovat a obsluhovat data a přehledy z různých zdrojů (strukturované, částečně strukturované, nestrukturované a streamované).

Architecture

Stáhněte si soubor Visia této architektury.

Note

• Služby, na které se tato architektura vztahuje, jsou pouze podmnožinou mnohem větší řady služeb Azure. Podobné výsledky lze dosáhnout pomocí jiných služeb nebo funkcí, které tento návrh nepokrývá.
• Konkrétní obchodní požadavky pro váš případ použití analýz můžou vyžadovat použití různých služeb nebo funkcí, které nejsou v tomto návrhu považovány.

Dataflow

Případy použití analýz pokryté architekturou znázorňují různé zdroje dat na levé straně diagramu. Data procházejí řešením zespodu následujícím způsobem:

Note

V následujících částech se Azure Data Lake Storage používá jako domov pro data v různých fázích životního cyklu dat. Data Lake Storage je uspořádané podle různých vrstev a kontejnerů následujícím způsobem:

• Nezpracovaná vrstva je cílová oblast pro data přicházející ze zdrojových systémů. Jak název napovídá, data v této vrstvě jsou v nezpracované, nefiltrované a nepurifikované podobě.
• V další fázi životního cyklu se data přesunou do rozšířené vrstvy, ve které se data vyčistí, filtrují a případně transformují.
• Data se pak přesunou do kurátorované vrstvy, kde se uchovávají data připravená pro spotřebitele.

Úplnou kontrolu vrstev a kontejnerů a jejich použití najdete v dokumentaci k zónám a kontejnerům Data Lake Storage.

Datové služby Azure, nativní cloudový protokol HTAP se službou Azure Cosmos DB a dataverse

Process

1. Azure Synapse Link pro Azure Cosmos DB a Azure Synapse Link pro Službu Dataverse umožňují spouštět analýzy téměř v reálném čase přes provozní a obchodní data aplikací pomocí analytických modulů dostupných z pracovního prostoru Azure Synapse: BEZserverové a sparkové fondy.

2. Pokud používáte Azure Synapse Link pro Azure Cosmos DB, použijte buď bezserverový dotaz SQL , nebo poznámkový blok fondu Sparku. K analytickému úložišti Azure Cosmos DB se dostanete a pak zkombinujete datové sady z provozních dat téměř v reálném čase s daty z datového jezera nebo z datového skladu.

3. Pokud používáte Azure Synapse Link pro službu Dataverse, použijte dotaz bez serveru SQL nebo poznámkový blok fondu Sparku. K vybraným tabulkám Dataverse se dostanete a pak zkombinujete datové sady z dat obchodních aplikací téměř v reálném čase s daty z datového jezera nebo z datového skladu.

Store

1. Výsledné datové sady z dotazů SQL Bez serveru je možné zachovat ve vašem datovém jezeře. Pokud používáte poznámkové bloky Sparku, výsledné datové sady se dají zachovat buď ve vašem datovém jezeře, nebo ve službě Data Warehouse (fond SQL).

Serve

1. Načtěte relevantní data z fondu Azure Synapse SQL nebo datového jezera do datových sad Power BI pro vizualizaci a zkoumání dat. Modely Power BI implementují sémantický model, který zjednodušuje analýzu obchodních dat a relací. Obchodní analytici používají sestavy a řídicí panely Power BI k analýze dat a odvození obchodních přehledů.

2. Data je také možné bezpečně sdílet s jinými obchodními jednotkami nebo externími důvěryhodnými partnery pomocí služby Azure Data Share. Uživatelé dat mají svobodu zvolit formát dat, který chtějí použít, a také to, jaký výpočetní modul je nejvhodnější pro zpracování sdílených datových sad.

3. Strukturovaná a nestrukturovaná data uložená v pracovním prostoru Synapse se dají použít také k vytváření řešení pro dolování znalostí a k odhalení cenných obchodních přehledů napříč různými typy dokumentů a formáty, včetně dokumentů Office, souborů PDF, obrázků, zvuku, formulářů a webových stránek.

Relační databáze

Ingest

1. Pomocí kanálů Azure Synapse můžete načíst data z široké škály databází, a to jak místně, tak i v cloudu. Kanály je možné aktivovat na základě předem definovaného plánu v reakci na událost nebo je můžete explicitně volat prostřednictvím rozhraní REST API.

Store

1. V rámci vrstvy Nezpracovaného datového jezera uspořádejte datové jezero podle osvědčených postupů, které vrstvy se mají vytvořit, jaké struktury složek se mají používat v jednotlivých vrstvách a jaký formát souborů se mají použít pro jednotlivé analytické scénáře.

2. Z kanálu Azure Synapse pomocí aktivity kopírování dat připravte data zkopírovaná z relačních databází do nezpracované vrstvy data Data Lake Storage . Data můžete uložit v textovém formátu s oddělovači nebo komprimovat jako soubory Parquet.

Process

1. Pomocí toků dat, dotazů bez serveru SQL nebo poznámkových bloků Sparku můžete datové sady ověřovat, transformovat a přesouvat z nezpracované vrstvy, prostřednictvím rozšířené vrstvy a do kurátorované vrstvy ve vašem datovém jezeře.

   1. V rámci transformací dat můžete volat modely strojového trénování z fondů SQL pomocí standardních poznámkových bloků T-SQL nebo Sparku. Tyto modely ML je možné použít k obohacení datových sad a generování dalších obchodních přehledů. Tyto modely strojového učení je možné využívat ze služeb Azure AI nebo vlastních modelů ML ze služby Azure Machine Learning.

Serve

1. Konečnou datovou sadu můžete obsluhovat přímo z vrstvy Kurátorované datové jezero nebo můžete pomocí aktivity Kopírování dat ingestovat konečnou datovou sadu do tabulek fondu SQL pomocí příkazu COPY pro rychlý příjem dat.

2. Načtěte relevantní data z fondu Azure Synapse SQL nebo datového jezera do datových sad Power BI pro vizualizaci dat. Modely Power BI implementují sémantický model, který zjednodušuje analýzu obchodních dat a relací. Obchodní analytici používají sestavy a řídicí panely Power BI k analýze dat a odvození obchodních přehledů.

3. Data je také možné bezpečně sdílet s jinými obchodními jednotkami nebo externími důvěryhodnými partnery pomocí služby Azure Data Share. Uživatelé dat mají svobodu zvolit formát dat, který chtějí použít, a také to, jaký výpočetní modul je nejvhodnější pro zpracování sdílených datových sad.

4. Strukturovaná a nestrukturovaná data uložená v pracovním prostoru Synapse se dají použít také k vytváření řešení pro dolování znalostí a k odhalení cenných obchodních přehledů napříč různými typy dokumentů a formáty, včetně dokumentů Office, souborů PDF, obrázků, zvuku, formulářů a webových stránek.

Částečně strukturované zdroje dat

Ingest

1. Pomocí kanálů Azure Synapse můžete načíst data z široké škály částečně strukturovaných zdrojů dat, a to jak místně, tak i v cloudu. Například:

   • Ingestování dat ze zdrojů založených na souborech obsahujících soubory CSV nebo JSON
   • Připojte se k databázím No-SQL, jako je Azure Cosmos DB nebo MongoDB.
   • Volejte rozhraní REST API poskytovaná aplikacemi SaaS, které budou fungovat jako zdroj dat pro kanál.

Store

1. V rámci vrstvy Nezpracovaného datového jezera uspořádejte datové jezero podle osvědčených postupů, které vrstvy se mají vytvořit, jaké struktury složek se mají používat v jednotlivých vrstvách a jaký formát souborů se mají použít pro jednotlivé analytické scénáře.

2. Z kanálu Azure Synapse pomocí aktivity kopírování dat připravte data zkopírovaná z částečně strukturovaných zdrojů dat do nezpracované vrstvy data Data Lake Storage . Uložte data, aby se zachoval původní formát získaný ze zdrojů dat.

Process

1. Pro dávkové nebo mikrodávkové kanály použijte buď toky dat, dotazy SQL bez serveru nebo poznámkové bloky Sparku k ověření, transformaci a přesunutí datových sad do kurátorované vrstvy ve vašem datovém jezeře. Bezserverové dotazy SQL zpřístupňují podkladové soubory CSV, Parquet nebo JSON jako externí tabulky, aby je bylo možné dotazovat pomocí T-SQL.

   1. V rámci transformací dat můžete volat modely strojového učení z fondů SQL pomocí standardních poznámkových bloků T-SQL nebo Sparku. Tyto modely ML je možné použít k obohacení datových sad a generování dalších obchodních přehledů. Tyto modely strojového učení je možné využívat ze služeb Azure AI nebo vlastních modelů ML ze služby Azure Machine Learning.

2. Pro scénáře analýzy téměř v reálném čase a analýzy časových řad můžete pomocí fondů Průzkumníka dat snadno ingestovat, konsolidovat a korelovat data protokolů a událostí IoT napříč několika zdroji dat. S fondy Průzkumníka dat můžete pomocí dotazů Kusto (KQL) provádět analýzu časových řad, geoprostorové clusteringy a rozšiřování strojového učení.

Serve

1. Konečnou datovou sadu můžete obsluhovat přímo z vrstvy Kurátorované datové jezero nebo můžete pomocí aktivity Kopírování dat ingestovat konečnou datovou sadu do tabulek fondu SQL pomocí příkazu COPY pro rychlý příjem dat.

2. Načtěte relevantní data z fondů Azure Synapse SQL, fondů Průzkumníka dat nebo datového jezera do datových sad Power BI pro vizualizaci dat. Modely Power BI implementují sémantický model, který zjednodušuje analýzu obchodních dat a relací. Obchodní analytici používají sestavy a řídicí panely Power BI k analýze dat a odvození obchodních přehledů.

3. Data je také možné bezpečně sdílet s jinými obchodními jednotkami nebo externími důvěryhodnými partnery pomocí služby Azure Data Share. Uživatelé dat mají svobodu zvolit formát dat, který chtějí použít, a také to, jaký výpočetní modul je nejvhodnější pro zpracování sdílených datových sad.

4. Strukturovaná a nestrukturovaná data uložená v pracovním prostoru Synapse se dají použít také k vytváření řešení pro dolování znalostí a k odhalení cenných obchodních přehledů napříč různými typy dokumentů a formáty, včetně dokumentů Office, souborů PDF, obrázků, zvuku, formulářů a webových stránek.

Nestrukturované zdroje dat

Ingest

1. Pomocí kanálů Azure Synapse můžete načíst data z široké škály nestrukturovaných zdrojů dat, a to jak místně, tak i v cloudu. Například:

   • Ingestování videa, obrázku, zvuku nebo volného textu ze zdrojů založených na souborech, které obsahují zdrojové soubory.
   • Volejte rozhraní REST API poskytovaná aplikacemi SaaS, které budou fungovat jako zdroj dat pro kanál.

Store

1. V rámci vrstvy Nezpracovaného datového jezera uspořádejte datové jezero podle osvědčených postupů, které se mají vytvořit, jaké struktury složek se mají v každé vrstvě používat, a podle toho, jaký formát souborů se má použít pro každý scénář analýzy.

2. Z kanálu Azure Synapse pomocí aktivity kopírování dat připravte data zkopírovaná z nestrukturovaných zdrojů dat do nezpracované vrstvy data Data Lake Storage . Uložte data zachováním původního formátu získaného ze zdrojů dat.

Process

1. Poznámkové bloky Sparku můžete použít k ověření, transformaci, rozšiřování a přesouvání datových sad z nezpracované vrstvy, prostřednictvím rozšířené vrstvy a do kurátorované vrstvy ve vašem datovém jezeře.

   1. V rámci transformací dat můžete volat modely strojového učení z fondů SQL pomocí standardních poznámkových bloků T-SQL nebo Sparku. Tyto modely ML je možné použít k obohacení datových sad a generování dalších obchodních přehledů. Tyto modely strojového učení je možné využívat ze služeb Azure AI nebo vlastních modelů ML ze služby Azure Machine Learning.

Serve

1. Konečnou datovou sadu můžete obsluhovat přímo z vrstvy Data Lake Kurátorované nebo můžete pomocí aktivity Kopírování dat ingestovat konečnou datovou sadu do tabulek datového skladu pomocí příkazu COPY pro rychlý příjem dat.

2. Načtěte relevantní data z fondu Azure Synapse SQL nebo datového jezera do datových sad Power BI pro vizualizaci dat. Modely Power BI implementují sémantický model, který zjednodušuje analýzu obchodních dat a relací.

3. Obchodní analytici používají sestavy a řídicí panely Power BI k analýze dat a odvození obchodních přehledů.

4. Data je také možné bezpečně sdílet s jinými obchodními jednotkami nebo externími důvěryhodnými partnery pomocí služby Azure Data Share. Uživatelé dat mají svobodu zvolit formát dat, který chtějí použít, a také to, jaký výpočetní modul je nejvhodnější pro zpracování sdílených datových sad.

5. Strukturovaná a nestrukturovaná data uložená v pracovním prostoru Synapse se dají použít také k vytváření řešení pro dolování znalostí a k odhalení cenných obchodních přehledů napříč různými typy dokumentů a formáty, včetně dokumentů Office, souborů PDF, obrázků, zvuku, formulářů a webových stránek.

Streaming

Ingest

1. Pomocí azure Event Hubs nebo Azure IoT Hubu můžete ingestovat datové proudy generované klientskými aplikacemi nebo zařízeními IoT. Event Hubs nebo IoT Hub pak budou ingestovat a ukládat streamovaná data, která zachová sekvenci přijatých událostí. Uživatelé se pak můžou připojit ke koncovým bodům služby Event Hubs nebo IoT Hub a načíst zprávy ke zpracování.

Store

1. V rámci vrstvy Nezpracovaného datového jezera uspořádejte datové jezero podle osvědčených postupů, které vrstvy se mají vytvořit, jaké struktury složek se mají používat v jednotlivých vrstvách a jaký formát souborů se mají použít pro jednotlivé analytické scénáře.

2. Nakonfigurujte zachytávání event hubs nebo koncové body úložiště služby IoT Hub, aby se kopie událostí uložila do nezpracované vrstvy vašeho data Lake Storage Data Lake Storage . Tato funkce implementuje "studenou cestu" vzoru architektury Lambda a umožňuje provádět historické a trendové analýzy dat datového proudu uloženého ve vašem datovém jezeře pomocí bezserverových dotazů SQL nebo poznámkových bloků Sparku podle vzoru pro částečně strukturované zdroje dat popsané výše.

Process

1. Pro přehledy v reálném čase použijte úlohu Stream Analytics k implementaci "horké cesty" modelu architektury Lambda a odvozujte přehledy z přenášených dat datového proudu. Definujte aspoň jeden vstup pro datový proud pocházející z event Hubs nebo IoT Hubu, jeden dotaz pro zpracování vstupního datového streamu a jednoho výstupu Power BI do místa, kam se budou odesílat výsledky dotazu.

   1. V rámci zpracování dat pomocí Stream Analytics můžete volat modely strojového učení, které obohatijí datové sady datových proudů a řídí obchodní rozhodnutí na základě vygenerovaných předpovědí. Tyto modely strojového učení je možné využívat ze služeb Azure AI nebo z vlastních modelů ML ve službě Azure Machine Learning.

2. Pomocí dalších výstupů úlohy Stream Analytics můžete odesílat zpracovávané události do fondů Azure Synapse SQL nebo fondů Data Exploreru pro další případy použití analýz.

3. V případě scénářů analýzy telemetrie a časových řad téměř v reálném čase můžete pomocí fondů Průzkumníka dat snadno ingestovat události IoT přímo ze služby Event Hubs nebo IoT Hubs. S fondy Průzkumníka dat můžete pomocí dotazů Kusto (KQL) provádět analýzu časových řad, geoprostorové clusteringy a rozšiřování strojového učení.

Serve

1. Obchodní analytici pak pomocí datových sad a řídicích panelů Power BI v reálném čase vizualizují rychle se měnící přehledy vygenerované dotazem Stream Analytics.

2. Data je také možné bezpečně sdílet s jinými obchodními jednotkami nebo externími důvěryhodnými partnery pomocí služby Azure Data Share. Uživatelé dat mají svobodu zvolit formát dat, který chtějí použít, a také to, jaký výpočetní modul je nejvhodnější pro zpracování sdílených datových sad.

3. Strukturovaná a nestrukturovaná data uložená v pracovním prostoru Synapse se dají použít také k vytváření řešení pro dolování znalostí a k odhalení cenných obchodních přehledů napříč různými typy dokumentů a formáty, včetně dokumentů Office, souborů PDF, obrázků, zvuku, formulářů a webových stránek.

Components

• Služby Azure AI jsou sadou cloudových nástrojů umělé inteligence, které vývojářům a organizacím umožňují vytvářet inteligentní aplikace bez nutnosti rozsáhlé odborné znalosti umělé inteligence nebo datových věd. Azure AI Services poskytuje předem připravené modely pro zpracování obrazu, jazyka a rozhodování. V této architektuře rozšiřuje datové sady během zpracování prostřednictvím integrace s kanály Synapse a Stream Analytics.

• Azure Cosmos DB je globálně distribuovaná databáze NoSQL. V této architektuře ukládá provozní data a používá Synapse Link k povolení analýzy téměř v reálném čase, aniž by to ovlivnilo provozní úlohy.

• Data Lake Storage je škálovatelné datové jezero založené na Azure Blob Storage. V této architektuře slouží jako centrální úložiště uspořádané do nezpracovaných, obohacených a kurátorovaných vrstev pro všechny datové typy ve scénářích dávkového a streamování.

• Azure Data Share je spravovaná služba výměny dat, která umožňuje zabezpečené a řízené sdílení dat mezi tenanty Azure. V této architektuře distribuuje kurátorované datové sady z datového jezera nebo Synapse interním týmům nebo externím partnerům.

• Azure IoT Hub je cloudová brána pro zařízení IoT. V této architektuře ingestuje telemetrická data a směruje je do služby Event Hubs pro zpracování datových proudů nebo přímo do datového jezera pro úložiště.

• Azure Key Vault je cloudová služba pro bezpečné ukládání a správu citlivých informací, jako jsou tajné kódy, klíče a certifikáty. V této architektuře spravuje přihlašovací údaje používané v kanálech Synapse a ve službě Azure Machine Learning.

• Azure Machine Learning je platforma pro vytváření a nasazování modelů strojového učení. V této architektuře poskytuje vlastní modely, které se integrují s kanály Synapse a Stream Analytics pro rozšiřování dat.

• Azure Monitor je cloudově nativní monitorovací systém integrovaný do Azure, který shromažďuje a analyzuje telemetrická data z vašich aplikací, infrastruktury a služeb. V této architektuře monitoruje výkon, spolehlivost a využití napříč všemi komponentami datové platformy.

• Azure Policy je nástroj zásad správného řízení, který vynucuje pravidla zásad správného řízení napříč prostředky Azure. V této architektuře zajišťuje dodržování předpisů, zásady správného řízení dat a řízení nákladů napříč datovými platformami.

• Azure Stream Analytics je služba pro zpracování dat v reálném čase v Azure. V této architektuře implementuje "horká cesta" pro architekturu Lambda a zpracovává data ze služby Event Hubs a IoT Hub.

• Azure Synapse Analytics je integrovaná analytická platforma. V této architektuře orchestruje datové kanály, poskytuje výpočetní prostředky SQL Bez serveru a Sparku pro transformace a slouží jako datový sklad prostřednictvím fondů SQL.

• Event Hubs je služba pro příjem událostí v reálném čase s vysokou propustností. V této architektuře přijímá streamovaná data z aplikací a zařízení IoT s funkcemi zachycení pro studené úložiště cest v datovém jezeře.

• Microsoft Power BI je platforma pro business intelligence a vizualizaci dat, která poskytuje business intelligence a vizualizaci. V této architektuře se připojuje k fondům Synapse SQL, fondům Data Exploreru a datovému jezeru za účelem vytváření řídicích panelů a sestav.

• Microsoft Purview je jednotná platforma pro zásady správného řízení dat, zabezpečení a dodržování předpisů. V této architektuře kataloguje datové prostředky a sleduje rodokmen z kanálů Synapse.

Alternatives

• Ve výše uvedené architektuře jsou kanály Azure Synapse zodpovědné za orchestraci datových kanálů. Kanály služby Azure Data Factory také poskytují stejné funkce, jak je popsáno v tomto článku.

• Azure Databricks lze také použít jako výpočetní modul, který slouží ke zpracování strukturovaných a nestrukturovaných dat přímo v datovém jezeře.

  Při použití Azure Databricks můžete připojit vrstvu obsluhující Power Apps přímo k tabulkám Delta Lake v Azure Databricks bez exportu dat. Tuto cestu vezměte v úvahu, když obchodní týmy potřebují čtení téměř v reálném čase z kurátorovaných tabulek lakehouse.

• Ve výše uvedené architektuře je služba Azure Stream Analytics zodpovědná za zpracování streamovaných dat. Fondy Azure Synapse Spark a Azure Databricks se dají použít také k provedení stejné role při provádění poznámkových bloků.

• Clustery Azure HDInsight Kafka je možné použít také k ingestování streamovaných dat a zajištění správné úrovně výkonu a škálovatelnosti vyžadované velkými úlohami streamování.

• Službu Azure Functions můžete také využít k vyvolání služeb Azure AI nebo vlastních modelů ML služby Azure Machine Learning z kanálu Azure Synapse.

• Technologie v této architektuře byly vybrány, protože každá z nich poskytuje nezbytné funkce pro řešení nejběžnějších problémů s daty v organizaci. Tyto služby splňují požadavky na škálovatelnost a dostupnost a pomáhají jim řídit náklady. Služby, na které se tato architektura vztahuje, jsou pouze podmnožinou mnohem větší řady služeb Azure. Podobné výsledky lze dosáhnout pomocí jiných služeb nebo funkcí, které tento návrh nepokrývá.

• Konkrétní obchodní požadavky pro případy použití analýz můžou také požádat o použití různých služeb nebo funkcí, které nejsou v tomto návrhu považovány.

• Porovnání jiných alternativ najdete tady:

  • Volba technologie orchestrace datových kanálů v Azure
  • Volba technologie dávkového zpracování v Azure
  • Výběr analytického úložiště dat v Azure
  • Volba technologie analýzy dat v Azure
  • Volba technologie zpracování datových proudů v Azure

Podrobnosti scénáře

Tento ukázkový scénář ukazuje, jak používat Azure Synapse Analytics s rozsáhlou řadu služeb Azure Data Services k vytvoření moderní datové platformy, která dokáže zvládnout nejběžnější problémy s daty v organizaci.

Potenciální případy použití

Tento přístup lze použít také k:

• Vytvořte architekturu datového produktu , která se skládá z datového skladu pro strukturovaná data a datové jezero pro částečně strukturovaná a nestrukturovaná data. Můžete se rozhodnout nasadit jeden datový produkt pro centralizovaná prostředí nebo více datových produktů pro distribuovaná prostředí, jako je Data Mesh. Další informace o správě dat a cílových zónách dat.
• Integrujte relační zdroje dat s jinými nestrukturovanými datovými sadami s využitím technologií pro zpracování velkých objemů dat.
• Pro jednodušší analýzu dat používejte sémantické modelování a výkonné vizualizační nástroje.
• Sdílejte datové sady v rámci organizace nebo s důvěryhodnými externími partnery.
• Implementujte dolování znalostí řešení pro extrakci cenných obchodních informací skrytých na obrázcích, souborech PDF, dokumentech atd.

Recommendations

Zjišťování a řízení

Zásady správného řízení dat jsou běžnou výzvou ve velkých podnikových prostředích. Obchodní analytici musí být na jedné straně schopni zjišťovat a rozumět datovým prostředkům, které jim můžou pomoct řešit obchodní problémy. Na druhou stranu ředitelé dat chtějí získat přehled o ochraně osobních údajů a zabezpečení obchodních dat.

Microsoft Purview

1. Microsoft Purview slouží ke zjišťování dat a přehledům o datových prostředcích, klasifikaci dat a citlivosti, která pokrývá celou oblast dat organizace.

2. Microsoft Purview vám může pomoct udržovat obchodní glosář s konkrétní obchodní terminologií potřebnou pro uživatele, aby pochopili sémantiku toho, co datové sady znamenají a jak se mají používat v celé organizaci.

3. Můžete zaregistrovat všechny zdroje dat a uspořádat je do kolekcí, které slouží také jako hranice zabezpečení pro vaše metadata.

4. Nastavte pravidelné kontroly , které automaticky katalogují a aktualizují relevantní metadata o datových prostředcích v organizaci. Microsoft Purview může také automaticky přidávat informace o rodokmenu dat na základě informací z kanálů Azure Data Factory nebo Azure Synapse.

5. Klasifikaci dat a popisky citlivosti dat je možné do datových prostředků přidat automaticky na základě předem nakonfigurovaných nebo celních pravidel použitých během pravidelných kontrol.

6. Odborníci na zásady správného řízení dat můžou pomocí sestav a přehledů generovaných Microsoft Purview udržet kontrolu nad celým prostředím dat a chránit organizaci před všemi problémy se zabezpečením a ochranou osobních údajů.

Služby platformy

Aby bylo možné zlepšit kvalitu řešení Azure, postupujte podle doporučení a pokynů definovaných v architektuře Azure Well-Architected Framework s pěti pilíři efektivity architektury: Optimalizace nákladů, efektivita provozu, efektivita výkonu, spolehlivost a zabezpečení.

V následujících doporučeních by se následující služby měly považovat za součást návrhu:

1. Microsoft Entra ID: služby identit, jednotné přihlašování a vícefaktorové ověřování napříč úlohami Azure.
2. Microsoft Cost Management: finanční zásady správného řízení nad úlohami Azure
3. Azure Key Vault: Zabezpečení přihlašovacích údajů a správy certifikátů. Například kanály Azure Synapse, fondy Azure Synapse Spark a Azure Machine Learning můžou načítat přihlašovací údaje a certifikáty ze služby Azure Key Vault sloužící k bezpečnému přístupu k úložišti dat.
4. Azure Monitor: Shromážděte, analyzujte a zareagujte na telemetrické informace o prostředcích Azure, abyste proaktivně identifikovali problémy a maximalizovali výkon a spolehlivost.
5. Microsoft Defender pro cloud: posílení a monitorování stavu zabezpečení úloh Azure
6. Azure DevOps a GitHub: Implementujte postupy DevOps, které vynucují automatizaci a dodržování předpisů pro vaše kanály vývoje a nasazení úloh pro Azure Synapse a Azure Machine Learning.
7. Azure Policy: Implementujte organizační standardy a zásady správného řízení pro konzistenci prostředků, dodržování právních předpisů, zabezpečení, náklady a správu.

Considerations

Tyto aspekty implementují pilíře dobře architektuře Azure, což je sada hlavních principů, které můžete použít ke zlepšení kvality úlohy. Další informace najdete v tématu Well-Architected Framework.

Optimalizace nákladů

Optimalizace nákladů se zaměřuje na způsoby, jak snížit zbytečné výdaje a zlepšit efektivitu provozu. Další informace najdete v kontrolním seznamu pro kontrolu návrhu pro optimalizaci nákladů.

Obecně platí, že k odhadu nákladů použijte cenovou kalkulačku Azure . Ideální jednotlivá cenová úroveň a celkové náklady na každou službu zahrnutou v architektuře závisí na množství dat, která se mají zpracovat a uložit, a přijatelnou očekávanou úroveň výkonu. Další informace o cenách jednotlivých služeb najdete v níže uvedeném průvodci:

• Bezserverová architektura Azure Synapse Analytics umožňuje nezávisle škálovat úrovně výpočetních prostředků a úložiště. Výpočetní prostředky se účtují na základě využití a tyto prostředky můžete škálovat nebo pozastavit na vyžádání. Prostředky úložiště se účtují na terabajt, takže se vaše náklady zvýší, jakmile ingestujete další data.

• Data Lake Storage se účtuje na základě množství uložených dat a na základě počtu transakcí pro čtení a zápis dat.

• Služba Azure Event Hubs a IoT Hub se účtují na základě množství výpočetních prostředků potřebných ke zpracování datových proudů zpráv.

• Poplatky za Azure Machine Learning pocházejí z množství výpočetních prostředků používaných k trénování a nasazování modelů strojového učení.

• Služby AI se účtují na základě počtu volání, které provedete do rozhraní API služby.

• Microsoft Purview je cenován na základě počtu datových prostředků v katalogu a množství výpočetního výkonu potřebného ke kontrole.

• Azure Stream Analytics se účtuje na základě výpočetního výkonu potřebného ke zpracování dotazů streamu.

• Power BI nabízí různé možnosti produktu pro různé požadavky. Power BI Embedded poskytuje možnost založenou na Azure pro vkládání funkcí Power BI do vašich aplikací. Instance Power BI Embedded je součástí výše uvedené ukázky cen.

• Služba Azure Cosmos DB je cenová na základě množství úložiště a výpočetních prostředků vyžadovaných vašimi databázemi.

Podobnou architekturu je možné implementovat také pro předprodukční prostředí, kde můžete vyvíjet a testovat úlohy. Zvažte konkrétní požadavky pro vaše úlohy a možnosti každé služby pro nákladově efektivní předprodukční prostředí.

Nasazení tohoto scénáře

Tento článek obsahuje doprovodné úložiště dostupné na GitHubu, které ukazuje, jak automatizovat nasazení služeb popsaných v této architektuře. Pokud chcete tuto architekturu nasadit do svého předplatného, postupujte podle kompletního průvodce nasazením Azure Synapse . Tento průvodce nasazením obsahuje podrobné pokyny a několik možností nasazení.

Contributors

Tento článek aktualizuje a udržuje Microsoft. Původně byla napsána následujícími přispěvateli.

Hlavní autor:

• Fabio Braga | Hlavní technický architekt MTC

Pokud chcete zobrazit neveřejné profily LinkedIn, přihlaste se na LinkedIn.

Další kroky

• Projděte si pokyny definované ve scénáři správy a analýzy dat Azure pro škálovatelné analytické prostředí v Azure.

• Prozkoumejte studijní programy pro datové inženýry v Microsoftu , kde najdete další školicí obsah a cvičení o službách, které jsou součástí této referenční architektury.

• Projděte si dokumentaci a nasaďte referenční architekturu s využitím pokynů k nasazení, které jsou k dispozici na GitHubu.

Řešení popsané v tomto článku kombinuje celou řadu služeb Azure, které budou ingestovat, ukládat, zpracovávat, rozšiřovat a obsluhovat data a přehledy z různých zdrojů (strukturované, částečně strukturované, nestrukturované a streamované).

Architecture

Stáhněte si soubor Visia této architektury.

Note

• Služby, na které se tato architektura vztahuje, jsou pouze podmnožinou mnohem větší řady služeb Azure. Podobné výsledky lze dosáhnout pomocí jiných služeb nebo funkcí, které tento návrh nepokrývá.
• Konkrétní obchodní požadavky pro váš případ použití analýz můžou vyžadovat použití různých služeb nebo funkcí, které nejsou v tomto návrhu považovány.

Dataflow

Případy použití analýz pokryté architekturou znázorňují různé zdroje dat na levé straně diagramu. Data procházejí řešením zespodu následujícím způsobem:

Note

V následujících částech se Azure Data Lake Storage používá jako domov pro data v různých fázích životního cyklu dat. Data Lake Storage je uspořádané podle různých vrstev a kontejnerů následujícím způsobem:

• Nezpracovaná vrstva je cílová oblast pro data přicházející ze zdrojových systémů. Jak název napovídá, data v této vrstvě jsou v nezpracované, nefiltrované a nepurifikované podobě.
• V další fázi životního cyklu se data přesunou do rozšířené vrstvy, ve které se data vyčistí, filtrují a případně transformují.
• Data se pak přesunou do kurátorované vrstvy, kde se uchovávají data připravená pro spotřebitele.

Úplnou kontrolu vrstev a kontejnerů a jejich použití najdete v dokumentaci k zónám a kontejnerům Data Lake Storage.

Datové služby Azure, nativní cloudový protokol HTAP se službou Azure Cosmos DB a dataverse

Process

1. Azure Synapse Link pro Azure Cosmos DB a Azure Synapse Link pro Službu Dataverse umožňují spouštět analýzy téměř v reálném čase přes provozní a obchodní data aplikací pomocí analytických modulů dostupných z pracovního prostoru Azure Synapse: BEZserverové a sparkové fondy.

2. Pokud používáte Azure Synapse Link pro Azure Cosmos DB, použijte buď bezserverový dotaz SQL , nebo poznámkový blok fondu Sparku. K analytickému úložišti Azure Cosmos DB se dostanete a pak zkombinujete datové sady z provozních dat téměř v reálném čase s daty z datového jezera nebo z datového skladu.

3. Pokud používáte Azure Synapse Link pro službu Dataverse, použijte dotaz bez serveru SQL nebo poznámkový blok fondu Sparku. K vybraným tabulkám Dataverse se dostanete a pak zkombinujete datové sady z dat obchodních aplikací téměř v reálném čase s daty z datového jezera nebo z datového skladu.

Store

1. Výsledné datové sady z dotazů SQL Bez serveru je možné zachovat ve vašem datovém jezeře. Pokud používáte poznámkové bloky Sparku, výsledné datové sady se dají zachovat buď ve vašem datovém jezeře, nebo ve službě Data Warehouse (fond SQL).

Serve

1. Načtěte relevantní data z fondu Azure Synapse SQL nebo datového jezera do datových sad Power BI pro vizualizaci a zkoumání dat. Modely Power BI implementují sémantický model, který zjednodušuje analýzu obchodních dat a relací. Obchodní analytici používají sestavy a řídicí panely Power BI k analýze dat a odvození obchodních přehledů.

2. Data je také možné bezpečně sdílet s jinými obchodními jednotkami nebo externími důvěryhodnými partnery pomocí služby Azure Data Share. Uživatelé dat mají svobodu zvolit formát dat, který chtějí použít, a také to, jaký výpočetní modul je nejvhodnější pro zpracování sdílených datových sad.

3. Strukturovaná a nestrukturovaná data uložená v pracovním prostoru Synapse se dají použít také k vytváření řešení pro dolování znalostí a k odhalení cenných obchodních přehledů napříč různými typy dokumentů a formáty, včetně dokumentů Office, souborů PDF, obrázků, zvuku, formulářů a webových stránek.

Relační databáze

Ingest

1. Pomocí kanálů Azure Synapse můžete načíst data z široké škály databází, a to jak místně, tak i v cloudu. Kanály je možné aktivovat na základě předem definovaného plánu v reakci na událost nebo je můžete explicitně volat prostřednictvím rozhraní REST API.

Store

1. V rámci vrstvy Nezpracovaného datového jezera uspořádejte datové jezero podle osvědčených postupů, které vrstvy se mají vytvořit, jaké struktury složek se mají používat v jednotlivých vrstvách a jaký formát souborů se mají použít pro jednotlivé analytické scénáře.

2. Z kanálu Azure Synapse pomocí aktivity kopírování dat připravte data zkopírovaná z relačních databází do nezpracované vrstvy data Data Lake Storage . Data můžete uložit v textovém formátu s oddělovači nebo komprimovat jako soubory Parquet.

Process

1. Pomocí toků dat, dotazů bez serveru SQL nebo poznámkových bloků Sparku můžete datové sady ověřovat, transformovat a přesouvat z nezpracované vrstvy, prostřednictvím rozšířené vrstvy a do kurátorované vrstvy ve vašem datovém jezeře.

   1. V rámci transformací dat můžete volat modely strojového trénování z fondů SQL pomocí standardních poznámkových bloků T-SQL nebo Sparku. Tyto modely ML je možné použít k obohacení datových sad a generování dalších obchodních přehledů. Tyto modely strojového učení je možné využívat ze služeb Azure AI nebo vlastních modelů ML ze služby Azure Machine Learning.

Serve

1. Konečnou datovou sadu můžete obsluhovat přímo z vrstvy Kurátorované datové jezero nebo můžete pomocí aktivity Kopírování dat ingestovat konečnou datovou sadu do tabulek fondu SQL pomocí příkazu COPY pro rychlý příjem dat.

2. Načtěte relevantní data z fondu Azure Synapse SQL nebo datového jezera do datových sad Power BI pro vizualizaci dat. Modely Power BI implementují sémantický model, který zjednodušuje analýzu obchodních dat a relací. Obchodní analytici používají sestavy a řídicí panely Power BI k analýze dat a odvození obchodních přehledů.

3. Data je také možné bezpečně sdílet s jinými obchodními jednotkami nebo externími důvěryhodnými partnery pomocí služby Azure Data Share. Uživatelé dat mají svobodu zvolit formát dat, který chtějí použít, a také to, jaký výpočetní modul je nejvhodnější pro zpracování sdílených datových sad.

4. Strukturovaná a nestrukturovaná data uložená v pracovním prostoru Synapse se dají použít také k vytváření řešení pro dolování znalostí a k odhalení cenných obchodních přehledů napříč různými typy dokumentů a formáty, včetně dokumentů Office, souborů PDF, obrázků, zvuku, formulářů a webových stránek.

Částečně strukturované zdroje dat

Ingest

1. Pomocí kanálů Azure Synapse můžete načíst data z široké škály částečně strukturovaných zdrojů dat, a to jak místně, tak i v cloudu. Například:

   • Ingestování dat ze zdrojů založených na souborech obsahujících soubory CSV nebo JSON
   • Připojte se k databázím No-SQL, jako je Azure Cosmos DB nebo MongoDB.
   • Volejte rozhraní REST API poskytovaná aplikacemi SaaS, které budou fungovat jako zdroj dat pro kanál.

Store

1. V rámci vrstvy Nezpracovaného datového jezera uspořádejte datové jezero podle osvědčených postupů, které vrstvy se mají vytvořit, jaké struktury složek se mají používat v jednotlivých vrstvách a jaký formát souborů se mají použít pro jednotlivé analytické scénáře.

2. Z kanálu Azure Synapse pomocí aktivity kopírování dat připravte data zkopírovaná z částečně strukturovaných zdrojů dat do nezpracované vrstvy data Data Lake Storage . Uložte data, aby se zachoval původní formát získaný ze zdrojů dat.

Process

1. Pro dávkové nebo mikrodávkové kanály použijte buď toky dat, dotazy SQL bez serveru nebo poznámkové bloky Sparku k ověření, transformaci a přesunutí datových sad do kurátorované vrstvy ve vašem datovém jezeře. Bezserverové dotazy SQL zpřístupňují podkladové soubory CSV, Parquet nebo JSON jako externí tabulky, aby je bylo možné dotazovat pomocí T-SQL.

   1. V rámci transformací dat můžete volat modely strojového učení z fondů SQL pomocí standardních poznámkových bloků T-SQL nebo Sparku. Tyto modely ML je možné použít k obohacení datových sad a generování dalších obchodních přehledů. Tyto modely strojového učení je možné využívat ze služeb Azure AI nebo vlastních modelů ML ze služby Azure Machine Learning.

2. Pro scénáře analýzy téměř v reálném čase a analýzy časových řad můžete pomocí fondů Průzkumníka dat snadno ingestovat, konsolidovat a korelovat data protokolů a událostí IoT napříč několika zdroji dat. S fondy Průzkumníka dat můžete pomocí dotazů Kusto (KQL) provádět analýzu časových řad, geoprostorové clusteringy a rozšiřování strojového učení.

Serve

1. Konečnou datovou sadu můžete obsluhovat přímo z vrstvy Kurátorované datové jezero nebo můžete pomocí aktivity Kopírování dat ingestovat konečnou datovou sadu do tabulek fondu SQL pomocí příkazu COPY pro rychlý příjem dat.

2. Načtěte relevantní data z fondů Azure Synapse SQL, fondů Průzkumníka dat nebo datového jezera do datových sad Power BI pro vizualizaci dat. Modely Power BI implementují sémantický model, který zjednodušuje analýzu obchodních dat a relací. Obchodní analytici používají sestavy a řídicí panely Power BI k analýze dat a odvození obchodních přehledů.

3. Data je také možné bezpečně sdílet s jinými obchodními jednotkami nebo externími důvěryhodnými partnery pomocí služby Azure Data Share. Uživatelé dat mají svobodu zvolit formát dat, který chtějí použít, a také to, jaký výpočetní modul je nejvhodnější pro zpracování sdílených datových sad.

4. Strukturovaná a nestrukturovaná data uložená v pracovním prostoru Synapse se dají použít také k vytváření řešení pro dolování znalostí a k odhalení cenných obchodních přehledů napříč různými typy dokumentů a formáty, včetně dokumentů Office, souborů PDF, obrázků, zvuku, formulářů a webových stránek.

Nestrukturované zdroje dat

Ingest

1. Pomocí kanálů Azure Synapse můžete načíst data z široké škály nestrukturovaných zdrojů dat, a to jak místně, tak i v cloudu. Například:

   • Ingestování videa, obrázku, zvuku nebo volného textu ze zdrojů založených na souborech, které obsahují zdrojové soubory.
   • Volejte rozhraní REST API poskytovaná aplikacemi SaaS, které budou fungovat jako zdroj dat pro kanál.

Store

1. V rámci vrstvy Nezpracovaného datového jezera uspořádejte datové jezero podle osvědčených postupů, které se mají vytvořit, jaké struktury složek se mají v každé vrstvě používat, a podle toho, jaký formát souborů se má použít pro každý scénář analýzy.

2. Z kanálu Azure Synapse pomocí aktivity kopírování dat připravte data zkopírovaná z nestrukturovaných zdrojů dat do nezpracované vrstvy data Data Lake Storage . Uložte data zachováním původního formátu získaného ze zdrojů dat.

Process

1. Poznámkové bloky Sparku můžete použít k ověření, transformaci, rozšiřování a přesouvání datových sad z nezpracované vrstvy, prostřednictvím rozšířené vrstvy a do kurátorované vrstvy ve vašem datovém jezeře.

   1. V rámci transformací dat můžete volat modely strojového učení z fondů SQL pomocí standardních poznámkových bloků T-SQL nebo Sparku. Tyto modely ML je možné použít k obohacení datových sad a generování dalších obchodních přehledů. Tyto modely strojového učení je možné využívat ze služeb Azure AI nebo vlastních modelů ML ze služby Azure Machine Learning.

Serve

1. Konečnou datovou sadu můžete obsluhovat přímo z vrstvy Data Lake Kurátorované nebo můžete pomocí aktivity Kopírování dat ingestovat konečnou datovou sadu do tabulek datového skladu pomocí příkazu COPY pro rychlý příjem dat.

2. Načtěte relevantní data z fondu Azure Synapse SQL nebo datového jezera do datových sad Power BI pro vizualizaci dat. Modely Power BI implementují sémantický model, který zjednodušuje analýzu obchodních dat a relací.

3. Obchodní analytici používají sestavy a řídicí panely Power BI k analýze dat a odvození obchodních přehledů.

4. Data je také možné bezpečně sdílet s jinými obchodními jednotkami nebo externími důvěryhodnými partnery pomocí služby Azure Data Share. Uživatelé dat mají svobodu zvolit formát dat, který chtějí použít, a také to, jaký výpočetní modul je nejvhodnější pro zpracování sdílených datových sad.

5. Strukturovaná a nestrukturovaná data uložená v pracovním prostoru Synapse se dají použít také k vytváření řešení pro dolování znalostí a k odhalení cenných obchodních přehledů napříč různými typy dokumentů a formáty, včetně dokumentů Office, souborů PDF, obrázků, zvuku, formulářů a webových stránek.

Streaming

Ingest

1. Pomocí azure Event Hubs nebo Azure IoT Hubu můžete ingestovat datové proudy generované klientskými aplikacemi nebo zařízeními IoT. Event Hubs nebo IoT Hub pak budou ingestovat a ukládat streamovaná data, která zachová sekvenci přijatých událostí. Uživatelé se pak můžou připojit ke koncovým bodům služby Event Hubs nebo IoT Hub a načíst zprávy ke zpracování.

Store

1. V rámci vrstvy Nezpracovaného datového jezera uspořádejte datové jezero podle osvědčených postupů, které vrstvy se mají vytvořit, jaké struktury složek se mají používat v jednotlivých vrstvách a jaký formát souborů se mají použít pro jednotlivé analytické scénáře.

2. Nakonfigurujte zachytávání event hubs nebo koncové body úložiště služby IoT Hub, aby se kopie událostí uložila do nezpracované vrstvy vašeho data Lake Storage Data Lake Storage . Tato funkce implementuje "studenou cestu" vzoru architektury Lambda a umožňuje provádět historické a trendové analýzy dat datového proudu uloženého ve vašem datovém jezeře pomocí bezserverových dotazů SQL nebo poznámkových bloků Sparku podle vzoru pro částečně strukturované zdroje dat popsané výše.

Process

1. Pro přehledy v reálném čase použijte úlohu Stream Analytics k implementaci "horké cesty" modelu architektury Lambda a odvozujte přehledy z přenášených dat datového proudu. Definujte aspoň jeden vstup pro datový proud pocházející z event Hubs nebo IoT Hubu, jeden dotaz pro zpracování vstupního datového streamu a jednoho výstupu Power BI do místa, kam se budou odesílat výsledky dotazu.

   1. V rámci zpracování dat pomocí Stream Analytics můžete volat modely strojového učení, které obohatijí datové sady datových proudů a řídí obchodní rozhodnutí na základě vygenerovaných předpovědí. Tyto modely strojového učení je možné využívat ze služeb Azure AI nebo z vlastních modelů ML ve službě Azure Machine Learning.

2. Pomocí dalších výstupů úlohy Stream Analytics můžete odesílat zpracovávané události do fondů Azure Synapse SQL nebo fondů Data Exploreru pro další případy použití analýz.

3. V případě scénářů analýzy telemetrie a časových řad téměř v reálném čase můžete pomocí fondů Průzkumníka dat snadno ingestovat události IoT přímo ze služby Event Hubs nebo IoT Hubs. S fondy Průzkumníka dat můžete pomocí dotazů Kusto (KQL) provádět analýzu časových řad, geoprostorové clusteringy a rozšiřování strojového učení.

Serve

1. Obchodní analytici pak pomocí datových sad a řídicích panelů Power BI v reálném čase vizualizují rychle se měnící přehledy vygenerované dotazem Stream Analytics.

2. Data je také možné bezpečně sdílet s jinými obchodními jednotkami nebo externími důvěryhodnými partnery pomocí služby Azure Data Share. Uživatelé dat mají svobodu zvolit formát dat, který chtějí použít, a také to, jaký výpočetní modul je nejvhodnější pro zpracování sdílených datových sad.

3. Strukturovaná a nestrukturovaná data uložená v pracovním prostoru Synapse se dají použít také k vytváření řešení pro dolování znalostí a k odhalení cenných obchodních přehledů napříč různými typy dokumentů a formáty, včetně dokumentů Office, souborů PDF, obrázků, zvuku, formulářů a webových stránek.

Components

• Služby Azure AI jsou sadou cloudových nástrojů umělé inteligence, které vývojářům a organizacím umožňují vytvářet inteligentní aplikace bez nutnosti rozsáhlé odborné znalosti umělé inteligence nebo datových věd. Azure AI Services poskytuje předem připravené modely pro zpracování obrazu, jazyka a rozhodování. V této architektuře rozšiřuje datové sady během zpracování prostřednictvím integrace s kanály Synapse a Stream Analytics.

• Azure Cosmos DB je globálně distribuovaná databáze NoSQL. V této architektuře ukládá provozní data a používá Synapse Link k povolení analýzy téměř v reálném čase, aniž by to ovlivnilo provozní úlohy.

• Data Lake Storage je škálovatelné datové jezero založené na Azure Blob Storage. V této architektuře slouží jako centrální úložiště uspořádané do nezpracovaných, obohacených a kurátorovaných vrstev pro všechny datové typy ve scénářích dávkového a streamování.

• Azure Data Share je spravovaná služba výměny dat, která umožňuje zabezpečené a řízené sdílení dat mezi tenanty Azure. V této architektuře distribuuje kurátorované datové sady z datového jezera nebo Synapse interním týmům nebo externím partnerům.

• Azure IoT Hub je cloudová brána pro zařízení IoT. V této architektuře ingestuje telemetrická data a směruje je do služby Event Hubs pro zpracování datových proudů nebo přímo do datového jezera pro úložiště.

• Azure Key Vault je cloudová služba pro bezpečné ukládání a správu citlivých informací, jako jsou tajné kódy, klíče a certifikáty. V této architektuře spravuje přihlašovací údaje používané v kanálech Synapse a ve službě Azure Machine Learning.

• Azure Machine Learning je platforma pro vytváření a nasazování modelů strojového učení. V této architektuře poskytuje vlastní modely, které se integrují s kanály Synapse a Stream Analytics pro rozšiřování dat.

• Azure Monitor je cloudově nativní monitorovací systém integrovaný do Azure, který shromažďuje a analyzuje telemetrická data z vašich aplikací, infrastruktury a služeb. V této architektuře monitoruje výkon, spolehlivost a využití napříč všemi komponentami datové platformy.

• Azure Policy je nástroj zásad správného řízení, který vynucuje pravidla zásad správného řízení napříč prostředky Azure. V této architektuře zajišťuje dodržování předpisů, zásady správného řízení dat a řízení nákladů napříč datovými platformami.

• Azure Stream Analytics je služba pro zpracování dat v reálném čase v Azure. V této architektuře implementuje "horká cesta" pro architekturu Lambda a zpracovává data ze služby Event Hubs a IoT Hub.

• Azure Synapse Analytics je integrovaná analytická platforma. V této architektuře orchestruje datové kanály, poskytuje výpočetní prostředky SQL Bez serveru a Sparku pro transformace a slouží jako datový sklad prostřednictvím fondů SQL.

• Event Hubs je služba pro příjem událostí v reálném čase s vysokou propustností. V této architektuře přijímá streamovaná data z aplikací a zařízení IoT s funkcemi zachycení pro studené úložiště cest v datovém jezeře.

• Microsoft Power BI je platforma pro business intelligence a vizualizaci dat, která poskytuje business intelligence a vizualizaci. V této architektuře se připojuje k fondům Synapse SQL, fondům Data Exploreru a datovému jezeru za účelem vytváření řídicích panelů a sestav.

• Microsoft Purview je jednotná platforma pro zásady správného řízení dat, zabezpečení a dodržování předpisů. V této architektuře kataloguje datové prostředky a sleduje rodokmen z kanálů Synapse.

Alternatives

• Ve výše uvedené architektuře jsou kanály Azure Synapse zodpovědné za orchestraci datových kanálů. Kanály služby Azure Data Factory také poskytují stejné funkce, jak je popsáno v tomto článku.

• Azure Databricks lze také použít jako výpočetní modul, který slouží ke zpracování strukturovaných a nestrukturovaných dat přímo v datovém jezeře.

  Při použití Azure Databricks můžete připojit vrstvu obsluhující Power Apps přímo k tabulkám Delta Lake v Azure Databricks bez exportu dat. Tuto cestu vezměte v úvahu, když obchodní týmy potřebují čtení téměř v reálném čase z kurátorovaných tabulek lakehouse.

• Ve výše uvedené architektuře je služba Azure Stream Analytics zodpovědná za zpracování streamovaných dat. Fondy Azure Synapse Spark a Azure Databricks se dají použít také k provedení stejné role při provádění poznámkových bloků.

• Clustery Azure HDInsight Kafka je možné použít také k ingestování streamovaných dat a zajištění správné úrovně výkonu a škálovatelnosti vyžadované velkými úlohami streamování.

• Službu Azure Functions můžete také využít k vyvolání služeb Azure AI nebo vlastních modelů ML služby Azure Machine Learning z kanálu Azure Synapse.

• Technologie v této architektuře byly vybrány, protože každá z nich poskytuje nezbytné funkce pro řešení nejběžnějších problémů s daty v organizaci. Tyto služby splňují požadavky na škálovatelnost a dostupnost a pomáhají jim řídit náklady. Služby, na které se tato architektura vztahuje, jsou pouze podmnožinou mnohem větší řady služeb Azure. Podobné výsledky lze dosáhnout pomocí jiných služeb nebo funkcí, které tento návrh nepokrývá.

• Konkrétní obchodní požadavky pro případy použití analýz můžou také požádat o použití různých služeb nebo funkcí, které nejsou v tomto návrhu považovány.

• Porovnání jiných alternativ najdete tady:

  • Volba technologie orchestrace datových kanálů v Azure
  • Volba technologie dávkového zpracování v Azure
  • Výběr analytického úložiště dat v Azure
  • Volba technologie analýzy dat v Azure
  • Volba technologie zpracování datových proudů v Azure

Podrobnosti scénáře

Tento ukázkový scénář ukazuje, jak používat Azure Synapse Analytics s rozsáhlou řadu služeb Azure Data Services k vytvoření moderní datové platformy, která dokáže zvládnout nejběžnější problémy s daty v organizaci.

Potenciální případy použití

Tento přístup lze použít také k:

• Vytvořte architekturu datového produktu , která se skládá z datového skladu pro strukturovaná data a datové jezero pro částečně strukturovaná a nestrukturovaná data. Můžete se rozhodnout nasadit jeden datový produkt pro centralizovaná prostředí nebo více datových produktů pro distribuovaná prostředí, jako je Data Mesh. Další informace o správě dat a cílových zónách dat.
• Integrujte relační zdroje dat s jinými nestrukturovanými datovými sadami s využitím technologií pro zpracování velkých objemů dat.
• Pro jednodušší analýzu dat používejte sémantické modelování a výkonné vizualizační nástroje.
• Sdílejte datové sady v rámci organizace nebo s důvěryhodnými externími partnery.
• Implementujte dolování znalostí řešení pro extrakci cenných obchodních informací skrytých na obrázcích, souborech PDF, dokumentech atd.

Recommendations

Zjišťování a řízení

Zásady správného řízení dat jsou běžnou výzvou ve velkých podnikových prostředích. Obchodní analytici musí být na jedné straně schopni zjišťovat a rozumět datovým prostředkům, které jim můžou pomoct řešit obchodní problémy. Na druhou stranu ředitelé dat chtějí získat přehled o ochraně osobních údajů a zabezpečení obchodních dat.

Microsoft Purview

1. Microsoft Purview slouží ke zjišťování dat a přehledům o datových prostředcích, klasifikaci dat a citlivosti, která pokrývá celou oblast dat organizace.

2. Microsoft Purview vám může pomoct udržovat obchodní glosář s konkrétní obchodní terminologií potřebnou pro uživatele, aby pochopili sémantiku toho, co datové sady znamenají a jak se mají používat v celé organizaci.

3. Můžete zaregistrovat všechny zdroje dat a uspořádat je do kolekcí, které slouží také jako hranice zabezpečení pro vaše metadata.

4. Nastavte pravidelné kontroly , které automaticky katalogují a aktualizují relevantní metadata o datových prostředcích v organizaci. Microsoft Purview může také automaticky přidávat informace o rodokmenu dat na základě informací z kanálů Azure Data Factory nebo Azure Synapse.

5. Klasifikaci dat a popisky citlivosti dat je možné do datových prostředků přidat automaticky na základě předem nakonfigurovaných nebo celních pravidel použitých během pravidelných kontrol.

6. Odborníci na zásady správného řízení dat můžou pomocí sestav a přehledů generovaných Microsoft Purview udržet kontrolu nad celým prostředím dat a chránit organizaci před všemi problémy se zabezpečením a ochranou osobních údajů.

Služby platformy

Aby bylo možné zlepšit kvalitu řešení Azure, postupujte podle doporučení a pokynů definovaných v architektuře Azure Well-Architected Framework s pěti pilíři efektivity architektury: Optimalizace nákladů, efektivita provozu, efektivita výkonu, spolehlivost a zabezpečení.

V následujících doporučeních by se následující služby měly považovat za součást návrhu:

1. Microsoft Entra ID: služby identit, jednotné přihlašování a vícefaktorové ověřování napříč úlohami Azure.
2. Microsoft Cost Management: finanční zásady správného řízení nad úlohami Azure
3. Azure Key Vault: Zabezpečení přihlašovacích údajů a správy certifikátů. Například kanály Azure Synapse, fondy Azure Synapse Spark a Azure Machine Learning můžou načítat přihlašovací údaje a certifikáty ze služby Azure Key Vault sloužící k bezpečnému přístupu k úložišti dat.
4. Azure Monitor: Shromážděte, analyzujte a zareagujte na telemetrické informace o prostředcích Azure, abyste proaktivně identifikovali problémy a maximalizovali výkon a spolehlivost.
5. Microsoft Defender pro cloud: posílení a monitorování stavu zabezpečení úloh Azure
6. Azure DevOps a GitHub: Implementujte postupy DevOps, které vynucují automatizaci a dodržování předpisů pro vaše kanály vývoje a nasazení úloh pro Azure Synapse a Azure Machine Learning.
7. Azure Policy: Implementujte organizační standardy a zásady správného řízení pro konzistenci prostředků, dodržování právních předpisů, zabezpečení, náklady a správu.

Considerations

Tyto aspekty implementují pilíře dobře architektuře Azure, což je sada hlavních principů, které můžete použít ke zlepšení kvality úlohy. Další informace najdete v tématu Well-Architected Framework.

Optimalizace nákladů

Optimalizace nákladů se zaměřuje na způsoby, jak snížit zbytečné výdaje a zlepšit efektivitu provozu. Další informace najdete v kontrolním seznamu pro kontrolu návrhu pro optimalizaci nákladů.

Obecně platí, že k odhadu nákladů použijte cenovou kalkulačku Azure . Ideální jednotlivá cenová úroveň a celkové náklady na každou službu zahrnutou v architektuře závisí na množství dat, která se mají zpracovat a uložit, a přijatelnou očekávanou úroveň výkonu. Další informace o cenách jednotlivých služeb najdete v níže uvedeném průvodci:

• Bezserverová architektura Azure Synapse Analytics umožňuje nezávisle škálovat úrovně výpočetních prostředků a úložiště. Výpočetní prostředky se účtují na základě využití a tyto prostředky můžete škálovat nebo pozastavit na vyžádání. Prostředky úložiště se účtují na terabajt, takže se vaše náklady zvýší, jakmile ingestujete další data.

• Data Lake Storage se účtuje na základě množství uložených dat a na základě počtu transakcí pro čtení a zápis dat.

• Služba Azure Event Hubs a IoT Hub se účtují na základě množství výpočetních prostředků potřebných ke zpracování datových proudů zpráv.

• Poplatky za Azure Machine Learning pocházejí z množství výpočetních prostředků používaných k trénování a nasazování modelů strojového učení.

• Služby AI se účtují na základě počtu volání, které provedete do rozhraní API služby.

• Microsoft Purview je cenován na základě počtu datových prostředků v katalogu a množství výpočetního výkonu potřebného ke kontrole.

• Azure Stream Analytics se účtuje na základě výpočetního výkonu potřebného ke zpracování dotazů streamu.

• Power BI nabízí různé možnosti produktu pro různé požadavky. Power BI Embedded poskytuje možnost založenou na Azure pro vkládání funkcí Power BI do vašich aplikací. Instance Power BI Embedded je součástí výše uvedené ukázky cen.

• Služba Azure Cosmos DB je cenová na základě množství úložiště a výpočetních prostředků vyžadovaných vašimi databázemi.

Podobnou architekturu je možné implementovat také pro předprodukční prostředí, kde můžete vyvíjet a testovat úlohy. Zvažte konkrétní požadavky pro vaše úlohy a možnosti každé služby pro nákladově efektivní předprodukční prostředí.

Nasazení tohoto scénáře

Tento článek obsahuje doprovodné úložiště dostupné na GitHubu, které ukazuje, jak automatizovat nasazení služeb popsaných v této architektuře. Pokud chcete tuto architekturu nasadit do svého předplatného, postupujte podle kompletního průvodce nasazením Azure Synapse . Tento průvodce nasazením obsahuje podrobné pokyny a několik možností nasazení.

Contributors

Tento článek aktualizuje a udržuje Microsoft. Původně byla napsána následujícími přispěvateli.

Hlavní autor:

• Fabio Braga | Hlavní technický architekt MTC

Pokud chcete zobrazit neveřejné profily LinkedIn, přihlaste se na LinkedIn.

Další kroky

• Projděte si pokyny definované ve scénáři správy a analýzy dat Azure pro škálovatelné analytické prostředí v Azure.

• Prozkoumejte studijní programy pro datové inženýry v Microsoftu , kde najdete další školicí obsah a cvičení o službách, které jsou součástí této referenční architektury.

• Projděte si dokumentaci a nasaďte referenční architekturu s využitím pokynů k nasazení, které jsou k dispozici na GitHubu.