Datové sklady a analýzy

Azure Data Lake Storage
Azure Cosmos DB
Azure Data Factory
Azure SQL Database
Azure Table Storage

Tento ukázkový scénář ukazuje datový kanál, který integruje velké objemy dat z více zdrojů do sjednocené analytické platformy v Azure. Tento konkrétní scénář je založený na prodejním a marketingovém řešení, ale vzory návrhu jsou relevantní pro mnoho odvětví vyžadujících pokročilou analýzu velkých datových sad, jako je elektronické obchodování, maloobchod a zdravotnictví.

Architektura

Architektura scénáře datových skladů a analýzy v Azure

Stáhněte si soubor Visia této architektury.

Tok dat

Data procházejí tímto řešením následovně:

  1. Pro každý zdroj dat se všechny aktualizace pravidelně exportují do pracovní oblasti ve službě Azure Data Lake Storage.
  2. Azure Data Factory přírůstkově načte data z Azure Data Lake Storage do pracovních tabulek ve službě Azure Synapse Analytics. Během tohoto procesu jsou data vyčištěna a transformována. PolyBase může paralelizovat proces pro velké datové sady.
  3. Po načtení nové dávky dat do skladu se aktualizuje dříve vytvořený tabulkový model služby Azure Analysis Services. Tento sémantický model zjednodušuje analýzu obchodních dat a vztahů.
  4. Obchodní analytici používají Microsoft Power BI k analýze skladovaných dat pomocí sémantického modelu Analysis Services.

Komponenty

Společnost má zdroje dat na mnoha různých platformách:

  • Místní SQL Server
  • Oracle lokálně
  • Azure SQL Database
  • Úložiště tabulek Azure
  • Azure Cosmos DB

Data se načítají z těchto různých zdrojů dat pomocí několika komponent Azure:

  • Data Lake Storage je škálovatelná služba úložiště dat pro strukturovaná a nestrukturovaná data. V této architektuře jsou zdrojová data připravena před tím, než Azure Synapse Analytics načte data. Slouží jako počáteční cílová zóna pro nezpracovaná data.
  • Azure Data Factory je cloudová služba pro integraci dat. V této architektuře orchestruje transformaci fázovaných dat do společné struktury ve službě Azure Synapse Analytics. Azure Data Factory používá PolyBase při načítání dat do Azure Synapse Analytics k maximalizaci propustnosti.
  • Azure Synapse Analytics je distribuovaný analytický systém, který kombinuje velké objemy dat a datové sklady. V této architektuře. ukládá a analyzuje velké datové sady pomocí rozsáhlého paralelního zpracování (MPP). Slouží jako základní analytický modul. Azure Synapse Analytics může pomocí PolyBase rychle načítat data ze služby Data Lake Storage.
  • Analysis Services je plně spravovaná platforma pro vytváření sémantických datových modelů. V této architektuře poskytuje tabulkový sémantický model, který zjednodušuje analýzu dat a zlepšuje výkon dotazů. Je možné nakonfigurovat tak, aby se po každém načtení dat do Azure Synapse Analytics aktualizovala a zajistila aktuální přehledy.
  • Power BI je sada nástrojů pro obchodní analýzy pro analýzu dat a sdílení přehledů. V této architektuře umožňuje Power BI obchodním analytikům zkoumat a vizualizovat data. Připojuje se ke službě Analysis Services pro sémantické dotazování nebo přímo ke službě Azure Synapse Analytics pro nezpracovaný přístup k datům.
  • Microsoft Entra ID je cloudová služba pro správu identit a přístupu. V této architektuře ověřuje uživatele, kteří se připojují k serveru Analysis Services prostřednictvím Power BI. Azure Data Factory může k ověření ve službě Azure Synapse Analytics použít také Microsoft Entra ID prostřednictvím služebního účtu nebo spravované identity pro prostředky Azure.

Alternativy

Podrobnosti scénáře

Tento příklad ukazuje prodejní a marketingovou společnost, která vytváří programy pobídek. Tyto programy odměňují zákazníky, dodavatele, prodejce a zaměstnance. Data jsou pro tyto programy zásadní a společnost chce zlepšit přehledy získané prostřednictvím analýzy dat pomocí Azure.

Společnost potřebuje moderní přístup k analýze dat, aby rozhodnutí používala správná data ve správný čas. Mezi cíle společnosti patří:

  • Kombinování různých druhů zdrojů dat do cloudové platformy
  • Transformace zdrojových dat na společnou taxonomii a strukturu, aby byla data konzistentní a snadno porovnávaná.
  • Načítání dat pomocí vysoce paralelizovaného přístupu, který může podporovat tisíce programů pobídek bez vysokých nákladů na nasazení a údržbu místní infrastruktury.
  • Výrazně zkracuje dobu potřebnou ke shromažďování a transformaci dat, abyste se mohli zaměřit na analýzu dat.

Potenciální případy použití

Tento přístup lze použít také k:

  • Vytvořte datový sklad tak, aby byl jediným zdrojem pravdy pro vaše data.
  • Integrujte relační zdroje dat s jinými nestrukturovanými datovými sadami.
  • Pro jednodušší analýzu dat používejte sémantické modelování a výkonné vizualizační nástroje.

Úvahy

Tyto aspekty implementují pilíře dobře architektuře Azure, což je sada hlavních principů, které můžete použít ke zlepšení kvality úlohy. Další informace najdete v tématu Well-Architected Framework.

Technologie v této architektuře byly vybrány, protože splňovaly požadavky společnosti na škálovatelnost a dostupnost a zároveň jim pomohly řídit náklady.

Optimalizace nákladů

Optimalizace nákladů se zaměřuje na způsoby, jak snížit zbytečné výdaje a zlepšit efektivitu provozu. Další informace najdete v kontrolním seznamu pro kontrolu návrhu pro optimalizaci nákladů.

Projděte si ukázku cen pro scénář datového skladu prostřednictvím cenové kalkulačky Azure. Upravte hodnoty, abyste viděli, jak vaše požadavky ovlivňují vaše náklady.

  • Azure Synapse umožňuje nezávisle škálovat výpočetní prostředky a úrovně úložiště. Výpočetní prostředky se účtují každou hodinu a tyto prostředky můžete škálovat nebo pozastavit na vyžádání. Prostředky úložiště se účtují na terabajt, takže se vaše náklady zvýší, jakmile ingestujete další data.
  • Náklady na data Factory vycházejí z počtu operací čtení a zápisu, operací monitorování a aktivit orchestrace provedených v úloze. Náklady na datovou továrnu se zvýší s každým dalším datovým proudem a objemem dat zpracovaných jednotlivými datovými proudy.
  • Služba Analysis Services je dostupná na úrovních Developer, Basic a Standard. Instance jsou oceňovány na základě jednotek zpracování dotazů (QPU) a dostupné paměti. Pokud chcete snížit náklady, minimalizujte počet dotazů, které spouštíte, kolik dat zpracovávají a jak často se spouštějí.
  • Power BI nabízí různé možnosti produktu pro různé požadavky. Power BI Embedded poskytuje možnost založenou na Azure pro vkládání funkcí Power BI do vašich aplikací. Instance Power BI Embedded je součástí výše uvedené ukázky cen.

Přispěvatelé

Tento článek spravuje Microsoft. Původně byl napsán následujícím přispěvatelem.

Hlavní autor:

Pokud chcete zobrazit neveřejné profily LinkedIn, přihlaste se na LinkedIn.

Další kroky