In dit voorbeeldscenario ziet u een gegevenspijplijn die grote hoeveelheden gegevens uit meerdere bronnen integreert in een geïntegreerd analyseplatform in Azure. Dit specifieke scenario is gebaseerd op een verkoop- en marketingoplossing, maar de ontwerppatronen zijn relevant voor veel branches waarvoor geavanceerde analyses van grote gegevenssets nodig zijn, zoals e-commerce, detailhandel en gezondheidszorg.
Architectuur
Een Visio-bestand van deze architectuur downloaden.
Gegevensstroom
De gegevens stromen als volgt door de oplossing:
- Voor elke gegevensbron worden alle updates periodiek geëxporteerd naar een faseringsgebied in Azure Data Lake Storage.
- Azure Data Factory laadt de gegevens incrementeel vanuit Azure Data Lake Storage in faseringstabellen in Azure Synapse Analytics. De gegevens worden tijdens dit proces opgeschoond en getransformeerd. PolyBase kan het proces voor grote gegevenssets parallelliseren.
- Nadat u een nieuwe batch gegevens in het magazijn hebt geladen, wordt een eerder gemaakt tabellair Azure Analysis Services-model vernieuwd. Dit semantische model vereenvoudigt de analyse van zakelijke gegevens en relaties.
- Bedrijfsanalisten gebruiken Microsoft Power BI om gegevens in een magazijn te analyseren via het semantische Analysis Services-model.
Onderdelen
Het bedrijf heeft gegevensbronnen op veel verschillende platforms:
- On-premises SQL Server
- Oracle on-premises
- Azure SQL-database
- Azure-tabelopslag
- Azure Cosmos DB
Gegevens worden vanuit deze verschillende gegevensbronnen geladen met behulp van verschillende Azure-onderdelen:
- Azure Data Lake Storage wordt gebruikt voor het faseren van brongegevens voordat deze in Azure Synapse worden geladen.
- Data Factory organiseert de transformatie van gefaseerde gegevens in een gemeenschappelijke structuur in Azure Synapse. Data Factory gebruikt PolyBase bij het laden van gegevens in Azure Synapse om de doorvoer te maximaliseren.
- Azure Synapse is een gedistribueerd systeem voor het opslaan en analyseren van grote gegevenssets. Het gebruik van MPP (Massive Parallel Processing) maakt het geschikt voor het uitvoeren van high-performance analyses. Azure Synapse kan PolyBase gebruiken om snel gegevens uit Azure Data Lake Storage te laden.
- Analysis Services biedt een semantisch model voor uw gegevens. Het kan ook de systeemprestaties verhogen bij het analyseren van uw gegevens.
- Power BI is een suite met hulpprogramma's voor bedrijfsanalyse om gegevens te analyseren en inzichten te delen. Power BI kan query's uitvoeren op een semantisch model dat is opgeslagen in Analysis Services, of rechtstreeks een query uitvoeren op Azure Synapse.
- Microsoft Entra ID verifieert gebruikers die verbinding maken met de Analysis Services-server via Power BI. Data Factory kan ook Microsoft Entra-id gebruiken om te verifiëren bij Azure Synapse via een service-principal of beheerde identiteit voor Azure-resources.
Alternatieven
De voorbeeldpijplijn bevat verschillende soorten gegevensbronnen. Deze architectuur kan een groot aantal relationele en niet-relationele gegevensbronnen verwerken.
Data Factory organiseert de werkstromen voor uw gegevenspijplijn. Als u gegevens slechts één keer of op aanvraag wilt laden, kunt u hulpprogramma's zoals bulkkopie van SQL Server (bcp) en AzCopy gebruiken om gegevens te kopiëren naar Azure Data Lake Storage. Vervolgens kunt u de gegevens rechtstreeks in Azure Synapse laden met behulp van PolyBase.
Als u zeer grote gegevenssets hebt, kunt u Overwegen Om Data Lake Storage te gebruiken, wat onbeperkte opslag biedt voor analysegegevens.
Azure Synapse is niet geschikt voor OLTP-workloads of -gegevenssets die kleiner zijn dan 250 GB. Voor deze gevallen moet u Azure SQL Database of SQL Server gebruiken.
Zie voor vergelijkingen van andere alternatieven:
Scenariodetails
In dit voorbeeld ziet u een verkoop- en marketingbedrijf dat incentive-programma's maakt. Deze programma's belonen klanten, leveranciers, verkopers en werknemers. Gegevens zijn essentieel voor deze programma's en het bedrijf wil de inzichten verbeteren die zijn verkregen via gegevensanalyse met behulp van Azure.
Het bedrijf heeft een moderne benadering nodig om gegevens te analyseren, zodat beslissingen worden genomen met behulp van de juiste gegevens op het juiste moment. De doelstellingen van het bedrijf zijn onder andere:
- Verschillende soorten gegevensbronnen combineren tot een platform op cloudschaal.
- Het transformeren van brongegevens in een gemeenschappelijke taxonomie en structuur, zodat de gegevens consistent en eenvoudig kunnen worden vergeleken.
- Het laden van gegevens met behulp van een zeer geparallelliseerde benadering die duizenden incentive-programma's kan ondersteunen, zonder de hoge kosten voor het implementeren en onderhouden van on-premises infrastructuur.
- Het verkorten van de tijd die nodig is om gegevens te verzamelen en te transformeren, zodat u zich kunt richten op het analyseren van de gegevens.
Potentiële gebruikscases
Deze benadering kan ook worden gebruikt voor het volgende:
- Stel een datawarehouse in als één bron van waarheid voor uw gegevens.
- Integreer relationele gegevensbronnen met andere ongestructureerde gegevenssets.
- Gebruik semantische modellering en krachtige visualisatiehulpprogramma's voor eenvoudigere gegevensanalyse.
Overwegingen
Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd. Dit is een set richtlijnen die kunnen worden gebruikt om de kwaliteit van een workload te verbeteren. Zie Microsoft Azure Well-Architected Framework voor meer informatie.
De technologieën in deze architectuur zijn gekozen omdat ze voldoen aan de vereisten van het bedrijf voor schaalbaarheid en beschikbaarheid, terwijl ze de kosten kunnen beheren.
- De enorm parallelle verwerkingsarchitectuur van Azure Synapse biedt schaalbaarheid en hoge prestaties.
- Azure Synapse heeft gegarandeerde SLA's en aanbevolen procedures voor het bereiken van hoge beschikbaarheid.
- Wanneer de analyseactiviteit laag is, kan het bedrijf Azure Synapse op aanvraag schalen, de rekenkracht verminderen of zelfs onderbreken om de kosten te verlagen.
- Azure Analysis Services kan worden uitgeschaald om reactietijden te verminderen tijdens hoge queryworkloads. U kunt de verwerking ook scheiden van de querygroep, zodat clientquery's niet worden vertraagd door verwerkingsbewerkingen.
- Azure Analysis Services heeft ook gegarandeerde SLA's en aanbevolen procedures voor het bereiken van hoge beschikbaarheid.
- Het Azure Synapse-beveiligingsmodel biedt verbindingsbeveiliging, verificatie en autorisatie via Microsoft Entra ID- of SQL Server-verificatie en -versleuteling. Azure Analysis Services maakt gebruik van Microsoft Entra ID voor identiteitsbeheer en gebruikersverificatie.
Kostenoptimalisatie
Kostenoptimalisatie gaat over manieren om onnodige uitgaven te verminderen en operationele efficiëntie te verbeteren. Zie Overzicht van de pijler kostenoptimalisatie voor meer informatie.
Bekijk een prijsvoorbeeld voor een datawarehousingscenario via de Azure-prijscalculator. Pas de waarden aan om te zien hoe uw vereisten van invloed zijn op uw kosten.
- Met Azure Synapse kunt u uw reken- en opslagniveaus onafhankelijk schalen. Rekenresources worden per uur in rekening gebracht en u kunt deze resources op aanvraag schalen of onderbreken. Opslagresources worden gefactureerd per terabyte, zodat uw kosten toenemen naarmate u meer gegevens opneemt.
- Data Factory-kosten zijn gebaseerd op het aantal lees-/schrijfbewerkingen, bewakingsbewerkingen en indelingsactiviteiten die in een workload worden uitgevoerd. Uw Data Factory-kosten nemen toe met elke extra gegevensstroom en de hoeveelheid gegevens die door elke gegevensstroom wordt verwerkt.
- Analysis Services is beschikbaar in developer-, basic- en standard-lagen. Exemplaren zijn geprijsd op basis van queryverwerkingseenheden (QPU's) en beschikbaar geheugen. Om uw kosten lager te houden, minimaliseert u het aantal query's dat u uitvoert, hoeveel gegevens ze verwerken en hoe vaak ze worden uitgevoerd.
- Power BI heeft verschillende productopties voor verschillende vereisten. Power BI Embedded biedt een op Azure gebaseerde optie voor het insluiten van Power BI-functionaliteit in uw toepassingen. Een Power BI Embedded-exemplaar is opgenomen in het bovenstaande prijsvoorbeeld.
Bijdragers
Dit artikel wordt onderhouden door Microsoft. Het is oorspronkelijk geschreven door de volgende inzender.
Hoofdauteur:
- Alex Buck | Senior Content Developer
Als u niet-openbare LinkedIn-profielen wilt zien, meldt u zich aan bij LinkedIn.
Volgende stappen
Bekijk de Azure-referentiearchitectuur voor geautomatiseerde enterprise BI, met instructies voor het implementeren van een exemplaar van deze architectuur in Azure.
Meer informatie over de services die in dit scenario worden gebruikt: