Tato ukázková úloha ukazuje několik způsobů, jak mohou malé firmy (SMB) modernizovat starší úložiště dat a prozkoumat nástroje a možnosti pro velké objemy dat, aniž by se rozšířily aktuální rozpočty a sady dovedností. Tato ucelená řešení datových skladů Azure se snadno integrují s nástroji, jako jsou Azure Machine Učení, Microsoft Power Platform, Microsoft Dynamics a další technologie Microsoftu.
Architektura
Stáhněte si soubor aplikace Visio s touto architekturou.
Starší datové sklady SMB můžou obsahovat několik typů dat:
- Nestrukturovaná data, jako jsou dokumenty a grafika
- Částečně strukturovaná data, jako jsou protokoly, sdílené svazky clusteru, JSON a soubory XML
- Strukturovaná relační data, včetně databází, které používají uložené procedury pro aktivity extract-transform-load/extract-load-transform (ETL/ELT)
Tok dat
Následující tok dat ukazuje příjem dat vybraného datového typu:
Kanály Azure Synapse Analytics ingestují starší datové sklady do Azure.
Kanály orchestrují tok migrovaných nebo částečně refaktorovaných starších databází a balíčků SSIS do služby Azure SQL Database. Tento přístup metodou "lift and shift" se nejrychleji implementuje a nabízí hladký přechod z místního řešení SQL na případnou platformu Azure jako službu (PaaS). Databáze můžete modernizovat postupně po přechodu a posunu.
Kanály můžou také předávat nestrukturovaná, částečně strukturovaná a strukturovaná data do Azure Data Lake Storage pro centralizované úložiště a analýzu s jinými zdroji. Tento přístup použijte, když při vytváření dat získáte větší obchodní výhodu, než jednoduše přeformulujte data.
Zdroje dat Microsoft Dynamics je možné použít k vytváření centralizovaných řídicích panelů BI na rozšířených datových sadách pomocí nástrojů pro analýzu bezserverové architektury Synapse. Sloučená, zpracovávaná data můžete přenést zpět do Dynamics a Power BI pro další analýzu.
Data ze streamovaných zdrojů v reálném čase můžou také vstoupit do systému prostřednictvím služby Azure Event Hubs. Pro zákazníky s požadavky na řídicí panel v reálném čase může Azure Stream Analytics tato data okamžitě analyzovat.
Data mohou také zadat centralizované Data Lake pro další analýzu, úložiště a vytváření sestav.
Nástroje pro analýzu bez serveru jsou k dispozici v pracovním prostoru Azure Synapse Analytics. Tyto nástroje používají bezserverový fond SQL nebo výpočetní funkce Apache Sparku ke zpracování dat v Data Lake Storage Gen2. Bezserverové fondy jsou dostupné na vyžádání a nevyžadují žádné zřízené prostředky.
Bezserverové fondy jsou ideální pro:
- Ad hoc zkoumání datových věd ve formátu T-SQL
- Počáteční vytváření prototypů entit datového skladu
- Definování zobrazení, která můžou uživatelé používat, například v Power BI, pro scénáře, které můžou tolerovat prodlevu výkonu.
Služba Azure Synapse je úzce integrovaná s potenciálními spotřebiteli vašich sloučených datových sad, jako je Azure Machine Učení. Mezi další uživatele patří Power Apps, Azure Logic Apps, aplikace Azure Functions a webové aplikace Aplikace Azure Service.
Komponenty
Azure Synapse Analytics je analytická služba, která kombinuje integraci dat, skladování podnikových dat a analýzu velkých objemů dat. V tomto řešení:
- Pracovní prostor Azure Synapse podporuje spolupráci mezi datovými inženýry, datovými vědci, datovými analytiky a odborníky na business intelligence (BI).
- Kanály Azure Synapse orchestrují a ingestují data do SQL Database a Data Lake Storage Gen2.
- Bezserverové fondy SQL Azure Synapse analyzují nestrukturovaná a částečně strukturovaná data v Data Lake Storage Gen2 na vyžádání.
- Bezserverové fondy Apache Sparku v Azure Synapse se ve službě Data Lake Storage Gen2 s využitím jazyků Sparku, jako jsou Spark SQL, pySpark a Scala, dělají průzkumy kódu.
Azure SQL Database je inteligentní škálovatelná relační databázová služba vytvořená pro cloud. V tomto řešení sql Database uchovává podnikový datový sklad a provádí aktivity ETL/ELT, které používají uložené procedury.
Azure Event Hubs je platforma pro streamování dat v reálném čase a služba pro příjem událostí. Event Hubs dokáže ingestovat data odkudkoli a bezproblémově se integruje s datovými službami Azure.
Azure Stream Analytics je bezserverová analytická služba pro streamování dat v reálném čase. Stream Analytics nabízí rychlou, elastickou škálovatelnost, spolehlivost a obnovení na podnikové úrovni a integrované funkce strojového učení.
Azure Machine Učení je sada nástrojů pro vývoj modelů datových věd a správu životního cyklu. Machine Učení je jedním z příkladů Azure a služby Microsoft, které můžou využívat zpracovávaná a zpracovávaná data z Data Lake Storage Gen2.
Alternativy
Azure IoT Hub může nahradit nebo doplnit službu Event Hubs. Zvolené řešení závisí na zdroji streamovaných dat a na tom, jestli potřebujete klonování a obousměrnou komunikaci se zařízeními pro generování sestav.
Službu Azure Data Factory můžete použít k integraci dat místo kanálů Azure Synapse. Volba závisí na několika faktorech:
- Kanály Azure Synapse udržují návrh řešení jednodušší a umožňují spolupráci v jednom pracovním prostoru Azure Synapse.
- Kanály Azure Synapse nepodporují přehostování balíčků SSIS, které jsou dostupné ve službě Azure Data Factory.
- Centrum Synapse Monitor monitoruje kanály Azure Synapse, zatímco Azure Monitor může monitorovat službu Data Factory.
Další informace a porovnání funkcí mezi kanály Azure Synapse a data Factory najdete v tématu Integrace dat ve službě Azure Synapse Analytics a Azure Data Factory.
Vyhrazené fondy SQL Synapse Analytics můžete použít k ukládání podnikových dat místo použití služby SQL Database. Projděte si případy použití a důležité informace v tomto článku a související zdroje informací o rozhodování.
Podrobnosti scénáře
Malé a střední firmy čelí volbě při modernizaci místních datových skladů pro cloud. Můžou využít nástroje pro velké objemy dat pro budoucí rozšiřitelnost nebo zachovat tradiční řešení založená na SQL pro nákladovou efektivitu, snadnou údržbu a hladký přechod.
Hybridní přístup ale kombinuje snadnou migraci stávajících datových aktiv s příležitostí přidat nástroje a procesy pro velké objemy dat v některých případech použití. Zdroje dat založené na SQL můžou dál běžet v cloudu a podle potřeby modernizovat.
Tato ukázková úloha ukazuje několik způsobů, jak můžou SMB modernizovat starší úložiště dat a prozkoumat nástroje a možnosti pro velké objemy dat, aniž by se rozšířily aktuální rozpočty a sady dovedností. Tato ucelená řešení datových skladů Azure se snadno integrují s Azure a služby Microsoft a nástroji, jako jsou Azure Machine Učení, Microsoft Power Platform a Microsoft Dynamics.
Potenciální případy použití
Z této úlohy může těžit několik scénářů:
Migrace tradičního místního relačního datového skladu, který je menší než 1 TB, a k orchestraci uložených procedur používá balíčky SSIS (SQL Server Integration Services).
Spletení existujících dat Dynamics nebo Power Platform Dataverse pomocí dávkových a reálných zdrojů Azure Data Lake
Použití inovativních technik pro interakci s centralizovanými daty Data Lake Storage Gen2 Mezi techniky patří bezserverová analýza, dolování znalostí, fúze dat mezi doménami a zkoumání dat koncových uživatelů.
Nastavení společností elektronického obchodování tak, aby přijaly datový sklad pro optimalizaci svých operací.
Toto řešení se nedoporučuje pro:
Greenfield nasazení datových skladů, u které se odhaduje, že do jednoho roku bude > 1 TB.
Migrace místních datových skladů, které mají > velikost 1 TB nebo se promítnou na tuto velikost do roku.
Důležité informace
Tyto aspekty implementují pilíře dobře architektuře Azure, což je sada hlavních principů, které je možné použít ke zlepšení kvality úlohy. Další informace naleznete v tématu Microsoft Azure Well-Architected Framework.
Pro tento scénář platí následující aspekty.
Dostupnost
SQL Database je služba PaaS, která může splňovat požadavky na vysokou dostupnost (HA) a zotavení po havárii (DR). Nezapomeňte vybrat skladovou položku, která splňuje vaše požadavky. Pokyny najdete v tématu Vysoká dostupnost pro Azure SQL Database.
Operace
SQL Database používá SQL Server Management Studio (SSMS) k vývoji a údržbě starších artefaktů, jako jsou uložené procedury.
Optimalizace nákladů
Optimalizace nákladů se zabývá způsoby, jak snížit zbytečné výdaje a zlepšit efektivitu provozu. Další informace najdete v tématu Přehled pilíře optimalizace nákladů.
Podívejte se na ukázku cen pro scénář datových skladů SMB v cenové kalkulačce Azure. Upravte hodnoty, abyste viděli, jak vaše požadavky ovlivňují náklady.
SQL Database vychází z nákladů na vybrané úrovně výpočetních prostředků a služeb a počtu virtuálních jader a jednotek databázových transakcí (DTU). Příklad ukazuje jednu databázi se zřízenými výpočetními prostředky a osmi virtuálními jádry na základě předpokladu, že potřebujete spustit uložené procedury ve službě SQL Database.
Ceny služby Data Lake Storage Gen2 závisí na množství uložených dat a na tom, jak často data používáte. Ukázkové ceny zahrnují 1 TB uložených dat s dalšími transakčními předpoklady. 1 TB odkazuje na velikost datového jezera, nikoli na původní starší velikost databáze.
Kanály Azure Synapse vycházejí z počtu aktivit datového kanálu, hodin modulu runtime integrace, velikosti clusteru toku dat a poplatků za spouštění a provoz. Náklady na kanály se zvyšují s dalšími zdroji dat a objemy zpracovaných dat. V příkladu se předpokládá, že jeden zdroj dat se dávková každou hodinu po dobu 15 minut v prostředí Integration Runtime hostovaného v Azure.
Fond Azure Synapse Spark je založen na cenách velikosti uzlu, počtu instancí a doby provozu. Příklad předpokládá, že jeden malý výpočetní uzel s pěti hodinami týdně až 40 hodin za měsíc využití.
Bezserverový fond SQL Azure Synapse vychází z cen na databázích zpracovaných dat. Vzorek předpokládá, že 50 TB zpracovaných měsíčně. Tento obrázek odkazuje na velikost datového jezera, nikoli na původní starší velikost databáze.
Služba Event Hubs se účtuje na základě úrovně, zřízených jednotek propustnosti a přijatých příchozích přenosů dat. Příklad předpokládá jednu jednotku propustnosti na úrovni Standard přes jeden milion událostí za měsíc.
Stream Analytics vychází z nákladů na počet zřízených jednotek streamování. Ukázka předpokládá, že se v měsíci používá jedna jednotka streamování.
Přispěvatelé
Tento článek aktualizuje a udržuje Microsoft. Původně byla napsána následujícími přispěvateli.
Hlavní autor:
- Galina Polyakova | Vedoucí architekt cloudových řešení
Další kroky
- Školicí obsah a cvičení najdete v Datoví technici Učení cest.
- Kurz: Začínáme s Azure Synapse Analytics
- Vytvoření izolované databáze – Azure SQL Database
- Vytvoření účtu úložiště pro Azure Data Lake Storage Gen2
- Rychlý start služby Azure Event Hubs – Vytvoření centra událostí pomocí webu Azure Portal
- Rychlý start – Vytvoření úlohy Stream Analytics pomocí webu Azure Portal
- Rychlý start: Začínáme se službou Azure Machine Učení