Upravit

Podnikový datový sklad

Blob Storage
Data Lake
Synapse Analytics

Návrhy řešení

Tento článek je nápadem na řešení. Pokud chcete, abychom obsah rozšířili o další informace, jako jsou potenciální případy použití, alternativní služby, aspekty implementace nebo pokyny k cenám, dejte nám vědět tím, že nám poskytnete zpětnou vazbu na GitHubu.

Tento článek představuje řešení pro podnikový datový sklad v Azure, které:

  • Sdružuje všechna vaše data bez ohledu na měřítko nebo formát.
  • Umožňuje všem uživatelům získat přehledy z vašich dat prostřednictvím analytických řídicích panelů, provozních sestav a pokročilých analýz.

Apache® a Apache Spark jsou registrované ochranné známky nebo ochranné známky Apache Software Foundation v USA a/nebo dalších zemích. Použití těchto značek nevyvozuje žádné doporučení ze strany The Apache Software Foundation.

Architektura

Diagram architektury podnikového datového skladu, který používá Azure Synapse Analytics, Data Lake Storage, Analysis Services a Power BI

Stáhněte si soubor aplikace Visio s touto architekturou.

Tok dat

  1. Kanály Azure Synapse Analytics spojují strukturovaná, nestrukturovaná a částečně strukturovaná data, jako jsou protokoly, soubory a média. Kanály ukládají data do Azure Data Lake Storage.
  2. Fondy Apache Sparku v Azure Synapse Analytics vyčistí a transformují Data Lake Storage data.
  3. Azure Synapse Analytics kombinuje zpracovaná data se stávajícími strukturovanými daty a vytváří jedno jednotné datové centrum.
  4. Vyhrazený fond SQL zpřístupňuje data provozním sestavám a analytickým řídicím panelům, které odvozují přehledy. Azure Analysis Services obsluhuje sestavy a řídicí panely tisícům koncových uživatelů.

Komponenty

  • Azure Synapse Analytics je analytická služba pro datové sklady a systémy pro velké objemy dat. Tento nástroj používá architekturu masivního paralelního zpracování a má hlubokou integraci se službami Azure.
  • kanály Azure Synapse Analytics poskytují způsob, jak vytvářet, plánovat a orchestrovat pracovní postupy, jako jsou pracovní postupy extrakce, načítání, transformace (ELT) a extrakce, transformace, načítání (ETL).
  • Azure Blob Storage poskytuje masivně škálovatelné a nákladově efektivní úložiště objektů pro jakýkoli typ nestrukturovaných dat – obrázky, videa, zvuk, dokumenty a další.
  • Data Lake Storage je úložiště, které obsahuje velké množství dat v nativním formátu RAW. Data Lake Storage je postavená na službě Blob Storage. V důsledku toho Data Lake Storage nabízí škálovatelnost, vrstvené úložiště, vysokou dostupnost a zotavení po havárii služby Blob Storage.
  • fondy Spark Azure Synapse Analytics poskytují architekturu paralelního zpracování, která podporuje zpracování v paměti za účelem zvýšení výkonu analytických aplikací pro velké objemy dat.
  • Analysis Services je analytický modul na podnikové úrovni, který uživatelům umožňuje snadno provádět ad hoc analýzu dat. Službu Analysis Services můžete použít k řízení, testování a poskytování obchodních řešení ve velkém měřítku.
  • Power BI je sada nástrojů pro obchodní analýzu, které poskytují přehledy v celé organizaci. Pomocí Power BI se můžete připojit ke stovkám zdrojů dat, zjednodušit přípravu dat a provádět ad hoc analýzu. Můžete také vytvářet krásné sestavy a publikovat je, aby je vaše organizace využívala na webu a na mobilních zařízeních.

Podrobnosti scénáře

Podnikový datový sklad spojuje všechna vaše data dohromady bez ohledu na zdroj, formát nebo škálování. Datový sklad také nabízí způsob, jak na svých datech spouštět vysoce výkonné analýzy, abyste získali přehledy prostřednictvím analytických řídicích panelů, provozních sestav a pokročilých analýz.

Toto řešení vytvoří datový sklad, který:

  • Je jediným zdrojem pravdy pro vaše data.
  • Integruje relační zdroje dat s jinými nestrukturovanými datovými sadami.
  • Používá sémantické modelování a výkonné vizualizační nástroje pro jednodušší analýzu dat.

K integraci dat do sjednocené platformy toto řešení používá kanály Azure Synapse Analytics. Tyto kanály nabízejí funkce ELT a ETL. Konkrétně můžete kanály použít k přesunu dat v pracovních postupech řízených daty. Kanály pracují s různými formáty a strukturami dat.

Kanály ukládají data v Data Lake Storage, který je založený na službě Blob Storage. Tato služba úložiště dokáže zpracovat velké objemy nestrukturovaných dat.

Azure Synapse analytics fondy Spark tvoří klíčovou součást řešení. Tyto fondy čistí a transformují data uložená v Azure. Jejich architektura paralelního zpracování podporuje zpracování v paměti pro zajištění rychlosti a efektivity. Fondy také podporují automatické škálování, takže můžou přidávat nebo odebírat uzly podle potřeby.

Vyhrazený fond SQL zpřístupňuje zpracovaná data pro vysoce výkonné analýzy. Tento fond ukládá data v relačních tabulkách se sloupcovým úložištěm, což je formát, který výrazně snižuje náklady na úložiště dat. Zlepšuje také výkon dotazů, takže můžete spouštět analýzy v masivním měřítku.

Potenciální případy použití

Toto řešení můžete použít ve scénářích, jako jsou následující scénáře, které zahrnují velké objemy dat:

  • Integrace zařízení IoT
  • Zákaznické datové platformy
  • Zpracování přirozeného jazyka
  • Algoritmy strojového učení

Ceny

Pokud chcete zobrazit odhad nákladů na toto řešení, podívejte se na cenovou ukázku v cenové kalkulačce.

Další kroky