Een moderne datawarehouse-architectuur definiëren
Wanneer u nadenkt over gebruikspatronen die klanten vandaag gebruiken om de waarde van hun gegevens te maximaliseren, kunt u met een modern datawarehouse eenvoudig al uw gegevens op schaal samenvoegen, zodat u toegang krijgt tot de inzichten via analysedashboards, operationele rapportage of geavanceerde analyses voor uw gebruikers.
Het proces voor het bouwen van een modern datawarehouse bestaat doorgaans uit:
- Gegevensopname en -voorbereiding.
- De gegevens gereed maken voor gebruik door analytische hulpprogramma's.
- Biedt toegang tot de gegevens in een vormige indeling, zodat deze eenvoudig kunnen worden gebruikt door hulpmiddelen voor gegevensvisualisatie.
Vóór de release van Azure Synapse Analytics zou dit op de volgende manier worden bereikt.
Gegevensopname en -voorbereiding
Bij de basis bouwen klanten een data lake om al hun gegevens en verschillende gegevenstypen op te slaan met Azure Data Lake Store Gen2.
Om gegevens op te nemen, kunnen klanten dit codevrij doen met meer dan 100 connectors voor gegevensintegratie met Azure Data Factory. Data Factory stelt klanten in staat om codevrije ETL/ELT uit te voeren, inclusief voorbereiding en transformatie.
En hoewel veel van onze klanten momenteel sterk worden geïnvesteerd in de SQL Server Integration Services-pakketten (SSIS), kunnen ze deze gebruiken zonder deze pakketten opnieuw te hoeven schrijven in Azure Data Factory.
Of de gegevens nu een on-premises gegevensbron, andere Azure-services of andere cloudservices zijn, klanten kunnen naadloos hun big data-pijplijnen ontwerpen, bewaken en beheren met een visuele omgeving die eenvoudig te gebruiken is.
Een andere optie voor gegevensvoorbereiding is Azure Databricks: om de gegevensindelingen vorm te geven en deze voor te bereiden met behulp van een notebook, waardoor interne samenwerking aan gegevens gestroomlijnder en efficiënter wordt.
De gegevens gereed maken voor gebruik door analytische hulpprogramma's.
De kern van een modern datawarehouse en analytische cloudoplossing is Azure Synapse Analytics. Hiermee wordt een datawarehouse geïmplementeerd met behulp van een toegewezen SQL-pool die gebruikmaakt van de Massively Parallel Processing-engine waarmee zakelijke datawarehousing en big data-analyses worden gecombineerd.
Biedt toegang tot de gegevens in een vormige indeling, zodat deze eenvoudig kunnen worden gebruikt door hulpmiddelen voor gegevensvisualisatie.
Met Power BI kunnen klanten visualisaties bouwen op enorme hoeveelheden gegevens en ervoor zorgen dat gegevensinzichten beschikbaar zijn voor iedereen in hun organisatie. Power BI biedt ondersteuning voor een enorme set gegevensbronnen die live kunnen worden opgevraagd of die kunnen worden gebruikt voor het modelleren en opnemen van gedetailleerde analyses en visualisaties. Samen met AI-mogelijkheden is het een krachtig hulpprogramma voor het bouwen en implementeren van dashboards in de onderneming, via uitgebreide visualisaties en functies zoals query's in natuurlijke taal.
Een moderne architectuur voor datawarehousing definiëren met Azure Synapse Analytics
Met de release van Azure Synapse Analytics hebt u een keuze. U kunt Azure Synapse uitsluitend gebruiken, wat goed werkt voor groene veldprojecten. Maar voor organisaties met bestaande investeringen in Azure met Azure Data Factory, Azure Databricks en Power BI kunt u een hybride benadering gebruiken en deze combineren met Azure Synapse Analytics.
Er zijn verschillende hulpprogramma's en technieken die kunnen worden gebruikt om de verschillende fasen van een moderne datawarehouse-architectuur te implementeren. In deze module ziet u voorbeelden met een specifieke focus op de onderdelen van Azure Synapse Analytics. Hoewel andere technologieën en services ook kunnen worden gebruikt zoals hierboven wordt geïllustreerd, is het ook belangrijk om te begrijpen dat u ook een reeks talen kunt gebruiken om gegevens op te nemen, op te schonen, te transformeren en de gegevens te verwerken. Deze talen kunnen de taal SQL, Python en Scala bevatten. Dit alles kan worden gebruikt in Azure Synapse Analytics.