Bewerken

Realtime analyse van big data-architectuur

Analysis Services
Event Hubs
Synapse Analytics

Ideeën voor oplossingen

Dit artikel is een oplossingsidee. Als u wilt dat we de inhoud uitbreiden met meer informatie, zoals mogelijke gebruiksvoorbeelden, alternatieve services, implementatieoverwegingen of prijsrichtlijnen, kunt u ons dit laten weten door gitHub-feedback te geven.

In dit oplossingsidee wordt beschreven hoe u inzichten kunt verkrijgen uit livestreaminggegevens. Leg continu gegevens vast van elk IoT-apparaat of logboeken van clickstreams van websites en verwerkt deze in bijna realtime.

Architectuur

Diagram van een realtime analyseoplossing voor big data-architectuur met behulp van Azure Synapse Analytics met Azure Data Lake Storage Gen2, Event Hubs, Azure Analysis Services, Azure Cosmos DB en Power BI.

Een Visio-bestand van deze architectuur downloaden.

Gegevensstroom

  1. U kunt eenvoudig livestreaminggegevens voor een toepassing opnemen met behulp van Azure Event Hubs.
  2. Breng al uw gestructureerde gegevens met synapse-pijplijnen samen om te Azure Blob Storage.
  3. Profiteer van Apache Spark-pools om de streaminggegevens op te schonen, te transformeren en te analyseren en deze te combineren met gestructureerde gegevens uit operationele databases of datawarehouses.
  4. Gebruik schaalbare machine learning/deep learning-technieken om diepere inzichten uit deze gegevens af te leiden met behulp van Python, Scala of .NET, met notebook-ervaringen in Apache Spark-pools.
  5. Pas Apache Spark-pool en Synapse-pijplijnen toe in Azure Synapse Analytics om gegevens op schaal te openen en te verplaatsen.
  6. Maak analysedashboards en ingesloten rapporten in een toegewezen SQL-pool om inzichten binnen uw organisatie te delen en gebruik Azure Analysis Services om deze gegevens aan duizenden gebruikers te leveren.
  7. Gebruik de inzichten van Apache Spark-pools voor Azure Cosmos DB om ze toegankelijk te maken via realtime-apps.

Onderdelen

  • Azure Synapse Analytics is het snelle, flexibele en vertrouwde clouddatawarehouse waarmee u elastisch en onafhankelijk kunt schalen, berekenen en opslaan, met een enorm parallelle verwerkingsarchitectuur.
  • Documentatie voor Synapse Pipelines biedt u de mogelijkheid om etl-/ELT-werkstromen te maken, te plannen en te organiseren.
  • Azure Data Lake Storage: Uiterst schaalbare, veilige Data Lake-functionaliteit die is gebouwd op Azure Blob Storage
  • Azure Synapse Analytics Spark-pools is een snel, eenvoudig en gezamenlijk op Apache Spark gebaseerd analyseplatform.
  • Documentatie voor Azure Azure Event Hubs is een platform voor het streamen van big data en een service voor gebeurtenisopname.
  • Azure Cosmos DB is een wereldwijd gedistribueerde databaseservice met meerdere modellen. Leer vervolgens hoe u uw gegevens repliceert in een willekeurig aantal Azure-regio's en hoe u uw doorvoer onafhankelijk van uw opslag kunt schalen.
  • met Azure Synapse Link voor Azure Cosmos DB kunt u bijna realtime analyses uitvoeren op operationele gegevens in Azure Cosmos DB, zonder dat dit invloed heeft op de prestaties of kosten van uw transactionele workload, met behulp van de twee analyse-engines die beschikbaar zijn in uw Azure Synapse werkruimte: SQL Serverloze en Spark-pools.
  • Azure Analysis Services is een zakelijke analyse als een service waarmee u uw BI-oplossing met vertrouwen kunt beheren, implementeren, testen en leveren.
  • Power BI is een suite met hulpprogramma's voor bedrijfsanalyse die inzichten in uw hele organisatie bieden. Maak verbinding met honderden gegevensbronnen, vereenvoudig gegevensvoorbereiding en maak ongeplande analyses mogelijk. Maak prachtige rapporten en publiceer deze vervolgens voor uw organisatie voor gebruik op internet en op mobiele apparaten.

Alternatieven

  • Synapse Link is de voorkeursoplossing van Microsoft voor analyses boven op Azure Cosmos DB-gegevens.
  • Azure IoT Hub kunt u gebruiken in plaats van Azure Event Hubs. IoT Hub is een beheerde service die wordt gehost in de cloud en fungeert als een centrale berichtenhub voor communicatie tussen een IoT-toepassing en de gekoppelde apparaten. U kunt miljoenen apparaten en hun back-endoplossingen betrouwbaar en veilig verbinden. Bijna elk apparaat kan worden verbonden met een IoT-hub.

Scenariodetails

In dit scenario ziet u hoe u inzichten kunt verkrijgen uit livestreaminggegevens. U kunt continu gegevens vastleggen vanaf elk IoT-apparaat of logboeken van clickstreams van websites en deze bijna in realtime verwerken.

Potentiële gebruikscases

Deze oplossing is ideaal voor de media- en entertainmentindustrie. Het scenario is voor het bouwen van analyses op basis van livestreaminggegevens.

Overwegingen

Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd. Dit is een set richtlijnen die kunnen worden gebruikt om de kwaliteit van een workload te verbeteren. Zie Microsoft Azure Well-Architected Framework voor meer informatie.

Kostenoptimalisatie

Kostenoptimalisatie gaat over het zoeken naar manieren om onnodige uitgaven te verminderen en de operationele efficiëntie te verbeteren. Zie Overzicht van de pijler kostenoptimalisatie voor meer informatie.

U kunt de Azure-prijscalculator gebruiken om een aangepaste prijsschatting op te halen.

Volgende stappen