Bewerken

Enterprise-datawarehouse

Blob Storage
Data Lake
Synapse Analytics

Ideeën voor oplossingen

Dit artikel is een oplossingsidee. Als u wilt dat we de inhoud uitbreiden met meer informatie, zoals mogelijke use cases, alternatieve services, implementatieoverwegingen of prijsrichtlijnen, laat het ons dan weten door gitHub feedback te geven.

Dit artikel biedt een oplossing voor een enterprise datawarehouse in Azure die:

  • Brengt al uw gegevens samen, ongeacht de schaal of indeling.
  • Biedt een manier voor al uw gebruikers om inzichten te verkrijgen uit uw gegevens via analytische dashboards, operationele rapporten en geavanceerde analyses.

Apache® en Apache Spark zijn gedeponeerde handelsmerken of handelsmerken van de Apache Software Foundation in de Verenigde Staten en/of andere landen. Het gebruik van deze markeringen impliceert geen goedkeuring door De Apache Software Foundation.

Architectuur

Architectuurdiagram van een ondernemingsdatawarehouse dat gebruikmaakt van Azure Synapse Analytics, Data Lake Storage, Analysis Services en Power BI.

Een Visio-bestand van deze architectuur downloaden.

Gegevensstroom

  1. Azure Synapse Analytics-pijplijnen brengen gestructureerde, ongestructureerde en semi-gestructureerde gegevens samen, zoals logboeken, bestanden en media. De pijplijnen slaan de gegevens op in Azure Data Lake Storage.
  2. Apache Spark-pools in Azure Synapse Analytics de Data Lake Storage gegevens opschonen en transformeren.
  3. Azure Synapse Analytics combineert de verwerkte gegevens met bestaande gestructureerde gegevens, waardoor er één geïntegreerde gegevenshub ontstaat.
  4. Een toegewezen SQL-pool maakt de gegevens beschikbaar voor operationele rapporten en analytische dashboards die inzichten afleiden. Azure Analysis Services levert de rapporten en dashboards aan duizenden eindgebruikers.

Onderdelen

  • Azure Synapse Analytics is een analyseservice voor datawarehouses en big data-systemen. Dit hulpprogramma maakt gebruik van een zeer parallelle verwerkingsarchitectuur en heeft een diepgaande integratie met Azure-services.
  • Azure Synapse Analytics-pijplijnen bieden een manier om werkstromen te maken, te plannen en te organiseren, zoals elt-werkstromen (extraheren, laden, transformeren) en ETL-werkstromen (extraheren, transformeren, laden).
  • Azure Blob Storage biedt zeer schaalbare, kosteneffectieve objectopslag voor elk type ongestructureerde gegevens, zoals afbeeldingen, video's, audio, documenten en meer.
  • Data Lake Storage is een opslagopslagplaats met een grote hoeveelheid gegevens in de systeemeigen onbewerkte indeling. Data Lake Storage is gebouwd op Blob Storage. Hierdoor biedt Data Lake Storage de schaalbaarheid, gelaagde opslag, hoge beschikbaarheid en herstel na noodgevallen van Blob Storage.
  • Azure Synapse Analytics Spark-pools bieden een framework voor parallelle verwerking dat ondersteuning biedt voor verwerking in het geheugen om de prestaties van analysetoepassingen voor big data te verbeteren.
  • Analysis Services is een hoogwaardige analyse-engine die gebruikers een eenvoudige manier biedt om ad-hocgegevensanalyse uit te voeren. U kunt Analysis Services gebruiken om bedrijfsoplossingen op schaal te beheren, te testen en te leveren.
  • Power BI is een suite met hulpprogramma's voor bedrijfsanalyse die inzichten bieden in uw hele organisatie. U kunt Power BI gebruiken om verbinding te maken met honderden gegevensbronnen, gegevensvoorbereiding te vereenvoudigen en ad-hocanalyse aan te drijven. U kunt ook prachtige rapporten maken en deze publiceren voor uw organisatie voor gebruik op internet en op mobiele apparaten.

Scenariodetails

Een datawarehouse voor ondernemingen brengt al uw gegevens samen, ongeacht de bron, indeling of schaal. Een datawarehouse biedt ook een manier om krachtige analyses uit te voeren op uw gegevens, zodat u inzicht kunt krijgen via analytische dashboards, operationele rapporten en geavanceerde analyses.

Met deze oplossing wordt een datawarehouse gemaakt dat:

  • Is één bron van waarheid voor uw gegevens.
  • Integreert relationele gegevensbronnen met andere ongestructureerde gegevenssets.
  • Maakt gebruik van semantische modellering en krachtige visualisatiehulpprogramma's voor eenvoudigere gegevensanalyse.

Deze oplossing maakt gebruik van Azure Synapse Analytics-pijplijnen om gegevens te integreren in een geïntegreerd platform. Deze pijplijnen bieden ELT- en ETL-mogelijkheden. Met name kunt u de pijplijnen gebruiken om gegevens te verplaatsen in gegevensgestuurde werkstromen. De pijplijnen werken met verschillende gegevensindelingen en -structuren.

De pijplijnen slaan de gegevens op in Data Lake Storage, die is gebouwd op Blob Storage. Deze opslagservice kan grote hoeveelheden ongestructureerde gegevens verwerken.

Azure Synapse Analytics Spark-pools vormen een belangrijk onderdeel van de oplossing. Deze pools schonen en transformeren gegevens die zijn opgeslagen in Azure. Hun parallelle verwerkingsframework ondersteunt verwerking in het geheugen voor snelheid en efficiëntie. De pools ondersteunen ook automatisch schalen, zodat ze indien nodig knooppunten kunnen toevoegen of verwijderen.

Een toegewezen SQL-pool maakt de verwerkte gegevens beschikbaar voor analyses met hoge prestaties. Deze pool slaat gegevens op in relationele tabellen met kolomopslag, een indeling die de kosten van gegevensopslag aanzienlijk verlaagt. Het verbetert ook de queryprestaties, zodat u analyses op grote schaal kunt uitvoeren.

Potentiële gebruikscases

U kunt deze oplossing gebruiken in scenario's zoals de volgende waarbij grote hoeveelheden gegevens zijn betrokken:

  • Integratie van IoT-apparaten
  • Platformen voor klantgegevens
  • Natuurlijke taalverwerking
  • Machine learning-algoritmen

Prijzen

Als u een schatting van de kosten van deze oplossing wilt bekijken, bekijkt u een prijsvoorbeeld in de prijscalculator.

Volgende stappen