Redigera

Realtidsanalys för arkitektur för stordata

Analysis Services
Event Hubs
Synapse Analytics

Lösningsidéer

Den här artikeln är en lösningsidé. Om du vill att vi ska utöka innehållet med mer information, till exempel potentiella användningsfall, alternativa tjänster, implementeringsöverväganden eller prisvägledning, kan du meddela oss genom att ge GitHub feedback.

Den här lösningsidén beskriver hur du kan få insikter från direktuppspelningsdata. Samla in data kontinuerligt från valfri IoT-enhet eller loggar från webbplatsklickströmmar och bearbeta dem nästan i realtid.

Arkitektur

Diagram över en realtidsanalyslösning för stordataarkitektur med Azure Synapse Analytics med Azure Data Lake Storage Gen2, Event Hubs, Azure Analysis Services, Azure Cosmos DB och Power BI.

Ladda ned en Visio-fil med den här arkitekturen.

Dataflöde

  1. Mata enkelt in direktuppspelningsdata för ett program med hjälp av Azure Event Hubs.
  2. Samla alla dina strukturerade data med Synapse Pipelines för att Azure Blob Storage.
  3. Dra nytta av Apache Spark-pooler för att rensa, transformera och analysera strömmande data och kombinera dem med strukturerade data från driftdatabaser eller informationslager.
  4. Använd skalbara maskininlärnings-/djupinlärningstekniker för att härleda djupare insikter från dessa data med hjälp av Python, Scala eller .NET, med notebook-upplevelser i Apache Spark-pooler.
  5. Använd Apache Spark-pool och Synapse Pipelines i Azure Synapse Analytics för att komma åt och flytta data i stor skala.
  6. Skapa analysinstrumentpaneler och inbäddade rapporter i en dedikerad SQL-pool för att dela insikter i din organisation och använda Azure Analysis Services för att hantera dessa data till tusentals användare.
  7. Ta insikterna från Apache Spark-pooler till Azure Cosmos DB för att göra dem tillgängliga via realtidsappar.

Komponenter

  • Azure Synapse Analytics är det snabba, flexibla och betrodda molndatalagret som gör att du kan skala, beräkna och lagra elastiskt och oberoende av varandra, med en massivt parallell bearbetningsarkitektur.
  • Med Dokumentation om Synapse Pipelines kan du skapa, schemalägga och samordna dina ETL/ELT-arbetsflöden.
  • Azure Data Lake Storage: Massivt skalbara och säkra datasjöfunktioner som bygger på Azure Blob Storage
  • Azure Synapse Analytics Spark-pooler är en snabb, enkel och samarbetsbaserad Apache Spark-baserad analysplattform.
  • Azure Azure Event Hubs Documentation är en plattform för stordataströmning och händelseinmatning.
  • Azure Cosmos DB är en globalt distribuerad databastjänst med flera modeller. Lär dig sedan hur du replikerar dina data i valfritt antal Azure-regioner och skalar ditt dataflöde oberoende av din lagring.
  • Azure Synapse Link för Azure Cosmos DB kan du köra nästan realtidsanalyser över driftdata i Azure Cosmos DB, utan prestanda eller kostnadspåverkan på din transaktionsarbetsbelastning, med hjälp av de två analysmotorer som är tillgängliga från din Azure Synapse arbetsyta: SQL Serverless och Spark Pools.
  • Azure Analysis Services är en analys i företagsklass som en tjänst där du kan styra, distribuera, testa och leverera din BI-lösning med tillförsikt.
  • Power BI är en uppsättning affärsanalysverktyg som ger insikter i hela organisationen. Anslut till hundratals datakällor, förenkla dataförberedelser och kör oplanerad analys. Skapa snygga rapporter och publicera dem sedan för din organisation att använda på webben och på mobila enheter.

Alternativ

  • Synapse Link är microsofts bästa lösning för analys utöver Azure Cosmos DB-data.
  • Azure IoT Hub kan användas i stället för Azure Event Hubs. IoT Hub är en hanterad tjänst i molnet som fungerar som en central meddelandehubb för kommunikation mellan ett IoT-program och dess anslutna enheter. Du kan ansluta miljontals enheter och deras serverdelslösningar på ett tillförlitligt och säkert sätt. Nästan vilken enhet som helst kan anslutas till en IoT-hubb.

Scenarioinformation

Det här scenariot illustrerar hur du kan få insikter från direktuppspelningsdata. Du kan samla in data kontinuerligt från valfri IoT-enhet eller loggar från webbplatsklickströmmar och bearbeta dem nästan i realtid.

Potentiella användningsfall

Den här lösningen är perfekt för medie- och underhållningsindustrin. Scenariot är att skapa analys från liveuppspelningsdata.

Överväganden

Dessa överväganden implementerar grundpelarna i Azure Well-Architected Framework, som är en uppsättning vägledande grundsatser som kan användas för att förbättra kvaliteten på en arbetsbelastning. Mer information finns i Microsoft Azure Well-Architected Framework.

Kostnadsoptimering

Kostnadsoptimering handlar om att titta på sätt att minska onödiga utgifter och förbättra driftseffektiviteten. Mer information finns i Översikt över grundpelare för kostnadsoptimering.

Du kan använda priskalkylatorn för Azure för att få en anpassad prisuppskattning.

Nästa steg