Redigera

Dela via

Stordataanalys med Azure Data Explorer

Azure Data Explorer
Azure Event Hubs
Azure IoT Hub
Azure Storage
Azure Synapse Analytics

Lösningsidéer

I den här artikeln beskrivs en lösningsidé. Molnarkitekten kan använda den här vägledningen för att visualisera huvudkomponenterna för en typisk implementering av den här arkitekturen. Använd den här artikeln som utgångspunkt för att utforma en välkonstruerad lösning som överensstämmer med arbetsbelastningens specifika krav.

Den här lösningsidén visar stordataanalys över stora mängder data med hög hastighet från olika källor.

Apache® och Apache Kafka® är antingen registrerade varumärken eller varumärken som tillhör Apache Software Foundation i USA och/eller andra länder. Inget godkännande från Apache Software Foundation underförstås av användningen av dessa märken.

Arkitektur

Diagram som visar stordataanalys med Azure Data Explorer.

Ladda ned en Visio-fil med den här arkitekturen.

Dataflöde

  1. Råstrukturerade, halvstrukturerade och ostrukturerade (fritext) data som alla typer av loggar, affärshändelser och användaraktiviteter kan matas in i Azure Data Explorer från olika källor.
  2. Mata in data i Azure Data Explorer med låg svarstid och högt dataflöde med hjälp av dess anslutningsappar för Azure Data Factory, Azure Event Hubs, Azure IoT Hub, Kafka och så vidare. Alternativt kan du mata in data via Azure Storage (Blob eller ADLS Gen2), som använder Azure Event Grid och utlöser inmatningspipelinen till Azure Data Explorer. Du kan också kontinuerligt exportera data till Azure Storage i komprimerat, partitionerat parquet-format och sömlöst köra frågor mot dessa data enligt beskrivningen i översikten över kontinuerlig dataexport.
  3. Exportera föraggregerade data från Azure Data Explorer till Azure Storage och mata sedan in data i Synapse Analytics för att skapa datamodeller och rapporter.
  4. Använd Azure Data Explorers inbyggda funktioner för att bearbeta, aggregera och analysera data. Skapa instrumentpaneler för analys i nära realtid med azure Data Explorer-instrumentpaneler, Power BI, Grafana eller andra verktyg för att få insikter i blixten. Använd Azure Synapse Analytics för att skapa ett modernt informationslager och kombinera det med Azure Data Explorer-data för att generera BI-rapporter om utvalda och aggregerade datamodeller.
  5. Azure Data Explorer tillhandahåller inbyggda avancerade analysfunktioner för tidsserieanalys, mönsterigenkänning och avvikelseidentifiering och prognostisering. Azure Data Explorer är också väl integrerat med ML-tjänster som Databricks och Azure Mašinsko učenje. Med den här integreringen kan du skapa modeller med andra verktyg och tjänster och exportera ML-modeller till Azure Data Explorer för bedömning av data.

Komponenter

  • Azure Event Hubs: Fullständigt hanterad datainmatningstjänst i realtid som är enkel, betrodd och skalbar.
  • Azure IoT Hub: Hanterad tjänst för att möjliggöra dubbelriktad kommunikation mellan IoT-enheter och Azure.
  • Kafka på HDInsight: Enkel, kostnadseffektiv tjänst i företagsklass för analys med öppen källkod med Apache Kafka.
  • Azure Data Explorer: Snabb, fullständigt hanterad och mycket skalbar dataanalystjänst för realtidsanalys på stora mängder dataströmning från program, webbplatser, IoT-enheter med mera.
  • Instrumentpaneler för Azure Data Explorer: Exportera Kusto-frågor som utforskades i webbgränssnittet till optimerade instrumentpaneler.
  • Azure Synapse Analytics: Analystjänst som sammanför informationslager för företag och stordataanalys.

Information om scenario

Potentiella användningsfall

Den här lösningen illustrerar hur Azure Data Explorer och Azure Synapse Analytics kompletterar varandra för nästan realtidsanalys och användning av moderna datalager.

Den här lösningen används redan av Microsoft-kunder. Till exempel implementerade det Singapore-baserade ride-hailing-företaget Grab realtidsanalys över en enorm mängd data som samlats in från deras taxi- och matleveranstjänster samt handelspartnerappar. Teamet från Grab presenterade sin lösning på MS Ignite i den här videon (20:30 och senare). Med det här mönstret bearbetade Grab mer än en biljon händelser per dag.

Den här lösningen är optimerad för detaljhandeln.

Deltagare

Den här artikeln underhålls av Microsoft. Det har ursprungligen skrivits av följande medarbetare.

Huvudförfattare:

Om du vill se icke-offentliga LinkedIn-profiler loggar du in på LinkedIn.

Nästa steg