Bewerken

Delen via

Big data-analyse met Azure Data Explorer

Azure Data Explorer
Azure Event Hubs
Azure IoT Hub
Azure Storage
Azure Synapse Analytics

Oplossingsideeën

In dit artikel wordt een oplossingsidee beschreven. Uw cloudarchitect kan deze richtlijnen gebruiken om de belangrijkste onderdelen te visualiseren voor een typische implementatie van deze architectuur. Gebruik dit artikel als uitgangspunt om een goed ontworpen oplossing te ontwerpen die overeenkomt met de specifieke vereisten van uw workload.

Dit oplossingsidee demonstreert big data-analyses over grote hoeveelheden gegevens met hoge snelheid uit verschillende bronnen.

Apache en Apache® Kafka® zijn gedeponeerde handelsmerken of handelsmerken van de Apache Software Foundation in de Verenigde Staten en/of andere landen. Er wordt geen goedkeuring door De Apache Software Foundation geïmpliceerd door het gebruik van deze markeringen.

Architectuur

Diagram van big data-analyses met Azure Data Explorer.

Een Visio-bestand van deze architectuur downloaden.

Gegevensstroom

  1. Onbewerkte gestructureerde, semi-gestructureerde en ongestructureerde gegevens (vrije tekst), zoals elk type logboek, zakelijke gebeurtenissen en gebruikersactiviteiten, kunnen vanuit verschillende bronnen worden opgenomen in Azure Data Explorer.
  2. Gegevens opnemen in Azure Data Explorer met lage latentie en hoge doorvoer met behulp van de connectors voor Azure Data Factory, Azure Event Hubs, Azure IoT Hub, Kafka, enzovoort. U kunt ook gegevens opnemen via Azure Storage (Blob of ADLS Gen2), dat gebruikmaakt van Azure Event Grid en de opnamepijplijn activeert naar Azure Data Explorer. U kunt ook continu gegevens exporteren naar Azure Storage in gecomprimeerde, gepartitioneerde parquet-indeling en die gegevens naadloos opvragen zoals beschreven in het overzicht van continue gegevensexport.
  3. Exporteer vooraf geaggregeerde gegevens van Azure Data Explorer naar Azure Storage en neem vervolgens de gegevens op in Synapse Analytics om gegevensmodellen en -rapporten te bouwen.
  4. Gebruik de systeemeigen mogelijkheden van Azure Data Explorer om gegevens te verwerken, samen te voegen en te analyseren. Als u snel inzicht wilt krijgen, bouwt u bijna realtime analysedashboards met behulp van Azure Data Explorer-dashboards, Power BI, Grafana of andere hulpprogramma's. Gebruik Azure Synapse Analytics om een modern datawarehouse te bouwen en deze te combineren met de Azure Data Explorer-gegevens om BI-rapporten te genereren over gecureerde en geaggregeerde gegevensmodellen.
  5. Azure Data Explorer biedt systeemeigen geavanceerde analysemogelijkheden voor tijdreeksanalyse, patroonherkenning en anomaliedetectie en prognose. Azure Data Explorer is ook goed geïntegreerd met ML-services zoals Databricks en Azure Machine Learning. Met deze integratie kunt u modellen bouwen met behulp van andere hulpprogramma's en services en ML-modellen exporteren naar Azure Data Explorer voor het scoren van gegevens.

Onderdelen

  • Azure Event Hubs: Volledig beheerde, realtime gegevensopnameservice die eenvoudig, vertrouwd en schaalbaar is.
  • Azure IoT Hub: Beheerde service om bidirectionele communicatie tussen IoT-apparaten en Azure mogelijk te maken.
  • Kafka in HDInsight: Eenvoudige, rendabele, hoogwaardige service voor opensource-analyses met Apache Kafka.
  • Azure Data Explorer: Snelle, volledig beheerde en zeer schaalbare gegevensanalyseservice voor realtime analyse van grote hoeveelheden gegevensstreaming vanuit toepassingen, websites, IoT-apparaten en meer.
  • Azure Data Explorer-dashboards: Kusto-query's die in de webinterface zijn verkend, systeemeigen exporteren naar geoptimaliseerde dashboards.
  • Azure Synapse Analytics: analyseservice die datawarehousing voor ondernemingen en big data-analyses combineert.

Scenariodetails

Potentiële gebruikscases

Deze oplossing illustreert hoe Azure Data Explorer en Azure Synapse Analytics elkaar aanvullen voor bijna realtime analyses en moderne gebruiksscenario's voor datawarehousing.

Deze oplossing wordt al gebruikt door Microsoft-klanten. Het op Singapore gebaseerde ride-hailing bedrijf, Grab, heeft bijvoorbeeld realtime analyses geïmplementeerd over een enorme hoeveelheid gegevens die zijn verzameld van hun taxi- en voedselleveringsdiensten, evenals handelspartner-apps. Het team van Grab heeft hun oplossing gepresenteerd bij MS Ignite in deze video (20:30 en hoger). Met dit patroon heeft Grab meer dan een biljoen gebeurtenissen per dag verwerkt.

Deze oplossing is geoptimaliseerd voor de detailhandel.

Medewerkers

Dit artikel wordt onderhouden door Microsoft. De tekst is oorspronkelijk geschreven door de volgende Inzenders.

Hoofdauteur:

Als u niet-openbare LinkedIn-profielen wilt zien, meldt u zich aan bij LinkedIn.

Volgende stappen