In dit voorbeeldscenario ziet u een gegevenspijplijn die grote hoeveelheden gegevens uit meerdere bronnen integreert in een geïntegreerd analyseplatform in Azure. Dit specifieke scenario is gebaseerd op een verkoop- en marketingoplossing, maar de ontwerppatronen zijn relevant voor veel branches die geavanceerde analyses vereisen van grote gegevenssets, zoals e-commerce, detailhandel en gezondheidszorg.
Architectuur
Een Visio-bestand van deze architectuur downloaden.
Gegevensstroom
De gegevens stromen als volgt door de oplossing:
- Voor elke gegevensbron worden updates periodiek geëxporteerd naar een faseringsgebied in Azure Data Lake Storage.
- Azure Data Factory laadt de gegevens van Azure Data Lake Storage stapsgewijs in faseringstabellen in Azure Synapse Analytics. De gegevens worden tijdens dit proces opgeschoond en getransformeerd. PolyBase kan het proces voor grote gegevenssets parallelliseren.
- Nadat een nieuwe batch gegevens in het magazijn is geladen, wordt een eerder gemaakt Azure Analysis Services tabellair model vernieuwd. Dit semantische model vereenvoudigt de analyse van bedrijfsgegevens en relaties.
- Bedrijfsanalisten gebruiken Microsoft Power BI om opgeslagen gegevens te analyseren via het semantische Analysis Services-model.
Onderdelen
Het bedrijf heeft gegevensbronnen op veel verschillende platforms:
- On-premises SQL Server
- Oracle on-premises
- Azure SQL Database
- Azure-tabelopslag
- Azure Cosmos DB
Gegevens worden geladen uit deze verschillende gegevensbronnen met behulp van verschillende Azure-onderdelen:
- Azure Data Lake Storage wordt gebruikt om brongegevens te fasen voordat deze in Azure Synapse worden geladen.
- Data Factory organiseert de transformatie van gefaseerde gegevens in een gemeenschappelijke structuur in Azure Synapse. Data Factory maakt gebruik van PolyBase bij het laden van gegevens in Azure Synapse om de doorvoer te maximaliseren.
- Azure Synapse is een gedistribueerd systeem voor het opslaan en analyseren van grote gegevenssets. Het gebruik van MPP (Massive Parallel Processing) maakt het geschikt voor het uitvoeren van analyses met hoge prestaties. Azure Synapse kunt PolyBase gebruiken om snel gegevens uit Azure Data Lake Storage te laden.
- Analysis Services biedt een semantisch model voor uw gegevens. Het kan ook de systeemprestaties verbeteren bij het analyseren van uw gegevens.
- Power BI is een suite met hulpprogramma's voor bedrijfsanalyse om gegevens te analyseren en inzichten te delen. Power BI kan een query uitvoeren op een semantisch model dat is opgeslagen in Analysis Services, of kan rechtstreeks query's uitvoeren op Azure Synapse.
- Met Azure Active Directory (Azure AD) worden gebruikers geverifieerd die via Power BI verbinding maken met de Analysis Services-server. Data Factory kan ook Azure AD gebruiken om te verifiëren bij Azure Synapse via een service-principal of beheerde identiteit voor Azure-resources.
Alternatieven
De voorbeeldpijplijn bevat verschillende soorten gegevensbronnen. Deze architectuur kan een groot aantal relationele en niet-relationele gegevensbronnen verwerken.
Data Factory organiseert de werkstromen voor uw gegevenspijplijn. Als u gegevens slechts één keer of op aanvraag wilt laden, kunt u hulpprogramma's zoals SQL Server bulksgewijs kopiëren (bcp) en AzCopy gebruiken om gegevens naar Azure Data Lake Storage te kopiëren. Vervolgens kunt u de gegevens rechtstreeks in Azure Synapse laden met polybase.
Als u zeer grote gegevenssets hebt, kunt u overwegen om Data Lake Storage te gebruiken, dat onbeperkte opslag biedt voor analysegegevens.
Azure Synapse is niet geschikt voor OLTP-workloads of gegevenssets kleiner dan 250 GB. Voor deze gevallen moet u Azure SQL Database of SQL Server gebruiken.
Zie voor vergelijkingen van andere alternatieven:
Scenariodetails
In dit voorbeeld ziet u een verkoop- en marketingbedrijf dat incentive-programma's maakt. Deze programma's belonen klanten, leveranciers, verkopers en werknemers. Gegevens zijn essentieel voor deze programma's en het bedrijf wil de inzichten verbeteren die zijn verkregen via gegevensanalyse met behulp van Azure.
Het bedrijf heeft een moderne benadering nodig voor het analyseren van gegevens, zodat beslissingen worden genomen met behulp van de juiste gegevens op het juiste moment. De doelstellingen van het bedrijf zijn onder andere:
- Verschillende soorten gegevensbronnen combineren in een platform op cloudschaal.
- Het transformeren van brongegevens in een gemeenschappelijke taxonomie en structuur, om de gegevens consistent en eenvoudig te vergelijken.
- Het laden van gegevens met behulp van een sterk geparallelliseerde benadering die duizenden incentive-programma's kan ondersteunen, zonder de hoge kosten voor het implementeren en onderhouden van een on-premises infrastructuur.
- De benodigde tijd voor het verzamelen en transformeren van gegevens is aanzienlijk verkort, zodat u zich kunt richten op het analyseren van de gegevens.
Potentiële gebruikscases
Deze aanpak kan ook worden gebruikt voor het volgende:
- Stel een datawarehouse in als één bron van waarheid voor uw gegevens.
- Relationele gegevensbronnen integreren met andere ongestructureerde gegevenssets.
- Gebruik semantische modellering en krachtige visualisatiehulpprogramma's voor eenvoudigere gegevensanalyse.
Overwegingen
Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd. Dit is een set richtlijnen die kunnen worden gebruikt om de kwaliteit van een workload te verbeteren. Zie Microsoft Azure Well-Architected Framework voor meer informatie.
De technologieën in deze architectuur zijn gekozen omdat ze voldoen aan de vereisten van het bedrijf op het gebied van schaalbaarheid en beschikbaarheid, terwijl ze de kosten konden beheersen.
- De massively parallel processing-architectuur van Azure Synapse biedt schaalbaarheid en hoge prestaties.
- Azure Synapse heeft gegarandeerde SLA's en aanbevolen procedures voor het bereiken van hoge beschikbaarheid.
- Wanneer de analyseactiviteit laag is, kan het bedrijf Azure Synapse op aanvraag schalen, de rekenkracht verlagen of zelfs onderbreken om de kosten te verlagen.
- Azure Analysis Services kunnen worden uitgeschaald om de reactietijden te verkorten tijdens hoge queryworkloads. U kunt de verwerking ook scheiden van de querygroep, zodat clientquery's niet worden vertraagd door verwerkingsbewerkingen.
- Azure Analysis Services heeft ook gegarandeerde SLA's en aanbevolen procedures voor het bereiken van hoge beschikbaarheid.
- Het Azure Synapse-beveiligingsmodel biedt verbindingsbeveiliging, verificatie en autorisatie via Azure AD of SQL Server verificatie en versleuteling. Azure Analysis Services gebruikt Azure AD voor identiteitsbeheer en gebruikersverificatie.
Kostenoptimalisatie
Kostenoptimalisatie gaat over het zoeken naar manieren om onnodige uitgaven te verminderen en de operationele efficiëntie te verbeteren. Zie Overzicht van de pijler kostenoptimalisatie voor meer informatie.
Bekijk een prijsvoorbeeld voor een datawarehousingscenario via de Azure-prijscalculator. Pas de waarden aan om te zien hoe uw vereisten van invloed zijn op uw kosten.
- met Azure Synapse kunt u uw reken- en opslagniveaus onafhankelijk van elkaar schalen. Rekenresources worden per uur in rekening gebracht en u kunt deze resources op aanvraag schalen of onderbreken. Opslagresources worden gefactureerd per terabyte, zodat uw kosten toenemen naarmate u meer gegevens opneemt.
- Data Factory-kosten zijn gebaseerd op het aantal lees-/schrijfbewerkingen, bewakingsbewerkingen en indelingsactiviteiten die in een workload worden uitgevoerd. Uw Data Factory-kosten nemen toe met elke extra gegevensstroom en de hoeveelheid gegevens die door elke gegevensstroom wordt verwerkt.
- Analysis Services is beschikbaar in ontwikkelaars-, basic- en standard-lagen. Instanties worden geprijsd op basis van queryverwerkingseenheden (QPU's) en het beschikbare geheugen. Om uw kosten lager te houden, minimaliseert u het aantal query's dat u uitvoert, hoeveel gegevens ze verwerken en hoe vaak ze worden uitgevoerd.
- Power BI heeft verschillende productopties voor verschillende vereisten. Power BI Embedded biedt een op Azure gebaseerde optie voor het insluiten van Power BI-functionaliteit in uw toepassingen. Een Power BI Embedded-exemplaar is opgenomen in het bovenstaande prijsvoorbeeld.
Medewerkers
Dit artikel wordt onderhouden door Microsoft. Het is oorspronkelijk geschreven door de volgende inzender.
Hoofdauteur:
- Alex Buck | Senior Content Developer
Als u niet-openbare LinkedIn-profielen wilt zien, meldt u zich aan bij LinkedIn.
Volgende stappen
- Bekijk de Azure-referentiearchitectuur voor geautomatiseerde bedrijfs-BI, die instructies bevat voor het implementeren van een exemplaar van deze architectuur in Azure.
- In de Handleiding voor azure-gegevensarchitectuur vindt u uitgebreide architectuurrichtlijnen voor gegevenspijplijnen, datawarehousing, online analytische verwerking (OLAP) en big data.
- Meer informatie over de services die in dit scenario worden gebruikt: