Bewerken

Big data-analyse met Azure Data Explorer

Azure Data Explorer
Azure Event Hubs
Azure IoT Hub
Azure Storage
Azure Synapse Analytics

Ideeën voor oplossingen

Dit artikel is een oplossingsidee. Als u wilt dat we de inhoud uitbreiden met meer informatie, zoals mogelijke gebruiksvoorbeelden, alternatieve services, implementatieoverwegingen of prijsrichtlijnen, laat het ons dan weten door gitHub feedback te geven.

Dit oplossingsidee demonstreert big data-analyse van grote hoeveelheden gegevens met hoge snelheid uit verschillende bronnen.

Apache® en Apache Kafka® zijn gedeponeerde handelsmerken of handelsmerken van de Apache Software Foundation in de Verenigde Staten en/of andere landen. Het gebruik van deze markeringen impliceert geen goedkeuring door De Apache Software Foundation.

Architectuur

Diagram met big data-analyse met Azure Data Explorer.

Een Visio-bestand van deze architectuur downloaden.

Gegevensstroom

  1. Onbewerkte gestructureerde, semi-gestructureerde en ongestructureerde gegevens (vrije tekst), zoals elk type logboeken, zakelijke gebeurtenissen en gebruikersactiviteiten, kunnen vanuit verschillende bronnen worden opgenomen in Azure Data Explorer.
  2. Gegevens opnemen in Azure Data Explorer met lage latentie en hoge doorvoer met behulp van de connectors voor Azure Data Factory, Azure Event Hubs, Azure IoT Hub, Kafka, enzovoort. U kunt ook gegevens opnemen via Azure Storage (Blob of ADLS Gen2), waarbij Azure Event Grid wordt gebruikt en de opnamepijplijn wordt geactiveerd naar Azure Data Explorer. U kunt ook continu gegevens exporteren naar Azure Storage in gecomprimeerde, gepartitioneerde Parquet-indeling en naadloos een query uitvoeren op die gegevens, zoals beschreven in het overzicht voor continue gegevensexport.
  3. Exporteer vooraf geaggregeerde gegevens van Azure Data Explorer naar Azure Storage en neem de gegevens vervolgens op in Synapse Analytics om gegevensmodellen en rapporten te bouwen.
  4. Gebruik de systeemeigen mogelijkheden van Azure Data Explorer om gegevens te verwerken, te aggregeren en te analyseren. Als u razendsnel inzichten wilt verkrijgen, bouwt u bijna realtime analysedashboards met behulp van Azure Data Explorer-dashboards, Power BI, Grafana of andere hulpprogramma's. Gebruik Azure Synapse Analytics om een modern datawarehouse te bouwen en dit te combineren met de Azure Data Explorer-gegevens om BI-rapporten over gecureerde en geaggregeerde gegevensmodellen te genereren.
  5. Azure Data Explorer biedt systeemeigen geavanceerde analysemogelijkheden voor tijdreeksanalyse, patroonherkenning, anomaliedetectie en -prognoses en machine learning. Azure Data Explorer is ook goed geïntegreerd met ML-services zoals Databricks en Azure Machine Learning. Met deze integratie kunt u modellen bouwen met andere hulpprogramma's en services en ML-modellen exporteren naar Azure Data Explorer voor het scoren van gegevens.

Onderdelen

  • Azure Event Hubs: volledig beheerde, realtime gegevensopnameservice die eenvoudig, vertrouwd en schaalbaar is.
  • Azure IoT Hub: Beheerde service om bidirectionele communicatie tussen IoT-apparaten en Azure mogelijk te maken.
  • Kafka in HDInsight: eenvoudige, kosteneffectieve service op bedrijfsniveau voor open source analyse met Apache Kafka.
  • Azure Data Explorer: snelle, volledig beheerde en uiterst schaalbare gegevensanalyseservice voor realtime analyse van grote hoeveelheden gegevensstreaming vanuit toepassingen, websites, IoT-apparaten en meer.
  • Azure Data Explorer-dashboards: Exporteer Kusto-query's die in de webgebruikersinterface zijn verkend naar geoptimaliseerde dashboards.
  • Azure Synapse Analytics: analyseservice die datawarehousing voor ondernemingen en big data-analyses combineert.

Scenariodetails

Potentiële gebruikscases

Deze oplossing illustreert hoe Azure Data Explorer en Azure Synapse Analytics elkaar aanvullen voor bijna realtime analyses en moderne datawarehousinggebruiksvoorbeelden.

Deze oplossing wordt al gebruikt door Microsoft-klanten. Het in Singapore gevestigde taxibedrijf Grab heeft bijvoorbeeld realtime analyses geïmplementeerd op basis van een enorme hoeveelheid gegevens die zijn verzameld van hun taxi' en 'food delivery services', evenals partner-apps van verkopers. Het team van Grab heeft in deze video (vanaf 20:30) tijdens MS Ignite hun oplossing gepresenteerd. Met behulp van dit patroon heeft Grab meer dan een biljoen gebeurtenissen per dag verwerkt.

Deze oplossing is geoptimaliseerd voor de detailhandel.

Medewerkers

Dit artikel wordt onderhouden door Microsoft. Het is oorspronkelijk geschreven door de volgende inzenders.

Hoofdauteur:

Als u niet-openbare LinkedIn-profielen wilt zien, meldt u zich aan bij LinkedIn.

Volgende stappen