IoT-analyse met Azure Data Explorer

Azure Cosmos DB
Azure Data Explorer
Azure Digital Twins

Ideeën voor oplossingen

Dit artikel is een oplossingsidee. Als u wilt dat we de inhoud uitbreiden met meer informatie, zoals mogelijke gebruiksvoorbeelden, alternatieve services, implementatieoverwegingen of prijsrichtlijnen, laat het ons dan weten door gitHub feedback te geven.

In dit oplossingsidee wordt beschreven hoe Azure Data Explorer bijna realtime analyses biedt voor snelle stromende, hoge volumes streaminggegevens van IoT-apparaten en -sensoren (Internet of Things). Deze analysewerkstroom maakt deel uit van een algemene IoT-oplossing die operationele en analytische workloads integreert met Azure Cosmos DB en Azure Data Explorer.

Jupyter is een handelsmerk van het betreffende bedrijf. Er wordt geen goedkeuring geïmpliceerd door het gebruik van dit merk. Apache® en Apache Kafka® zijn gedeponeerde handelsmerken of handelsmerken van de Apache Software Foundation in de Verenigde Staten en/of andere landen. Het gebruik van deze markeringen impliceert geen goedkeuring door De Apache Software Foundation.

Architectuur

Diagram met IoT-telemetrieanalyse met Azure Data Explorer.

Een Visio-bestand van deze architectuur downloaden.

Gegevensstroom

  1. Azure Event Hubs, Azure IoT Hub of Kafka nemen een breed scala aan snelstromende streaminggegevens op, zoals logboeken, zakelijke gebeurtenissen en gebruikersactiviteiten.

  2. Azure Functions of Azure Stream Analytics verwerken de gegevens in bijna realtime.

  3. In Azure Cosmos DB worden gestreamde berichten opgeslagen in JSON-indeling voor een realtime operationele toepassing.

  4. Azure Data Explorer neemt gegevens op voor analyse, met behulp van de connectors voor Azure Event Hubs, Azure IoT Hub of Kafka voor lage latentie en hoge doorvoer.

    U kunt ook blobs uit uw Azure Blob Storage- of Azure Data Lake Storage-account opnemen in Azure Data Explorer met behulp van een Event Grid-gegevensverbinding.

    U kunt ook continu gegevens exporteren naar Azure Storage in gecomprimeerde, gepartitioneerde Apache Parquet-indeling en de gegevens naadloos opvragen met Azure Data Explorer. Zie Overzicht van continue gegevensexport voor meer informatie.

  5. Voor zowel operationele als analytische gebruiksscenario's kunnen gegevens parallel worden gerouteerd naar Azure Data Explorer en Azure Cosmos DB, of van Azure Cosmos DB naar Azure Data Explorer.

    • Azure Cosmos DB-transacties kunnen Azure Functions activeren via de wijzigingenfeed. Functions streamt gegevens naar Event Hubs voor opname in Azure Data Explorer.

      of

    • Azure Functions kunt Azure Digital Twins aanroepen via de API, die vervolgens gegevens naar Event Hubs streamt voor opname in Azure Data Explorer.

  6. De volgende interfaces krijgen inzichten uit gegevens die zijn opgeslagen in Azure Data Explorer:

  7. Azure Data Explorer integreert met Azure Databricks en Azure Machine Learning om machine learning-services (ML) te bieden. U kunt ook ML-modellen bouwen met andere hulpprogramma's en services en deze exporteren naar Azure Data Explorer voor het scoren van gegevens.

Onderdelen

Dit oplossingsidee maakt gebruik van de volgende Azure-onderdelen:

Azure Data Explorer

Azure Data Explorer is een snelle, volledig beheerde en uiterst schaalbare big data analytics-service. Azure Data Explorer kunt grote hoeveelheden streaminggegevens van toepassingen, websites en IoT-apparaten in bijna realtime analyseren om analysetoepassingen en dashboards te bedienen.

Azure Data Explorer biedt systeemeigen geavanceerde analyses voor:

De webinterface van Azure Data Explorer maakt verbinding met Azure Data Explorer-clusters om Kusto-querytaal opdrachten en query's te schrijven, uit te voeren en te delen. Azure Data Explorer-dashboards zijn een functie in de Data Explorer-webinterface waarmee Kusto-query's naar geoptimaliseerde dashboards worden geëxporteerd.

Andere Azure-onderdelen

  • Azure Cosmos DB is een volledig beheerde, snelle NoSQL-databaseservice voor moderne app-ontwikkeling met open API's voor elke schaal.
  • Azure Digital Twins slaat digitale modellen van fysieke omgevingen op om ioT-oplossingen van de volgende generatie te maken die de echte wereld modelleren.
  • Azure Event Hubs is een volledig beheerde, realtime gegevensopnameservice.
  • Azure IoT Hub maakt bidirectionele communicatie tussen IoT-apparaten en de Azure-cloud mogelijk.
  • Azure Synapse Link voor Azure Cosmos DB voert bijna realtime analyses uit op operationele gegevens in Azure Cosmos DB, zonder dat dit van invloed is op de prestaties of kosten van transactionele workloads. Synapse Link maakt gebruik van de analyse-engines voor SQL Serverloze en Spark-pools uit de Azure Synapse-werkruimte.
  • Kafka in HDInsight is een eenvoudige, kosteneffectieve service op bedrijfsniveau voor opensource-analyses met Apache Kafka.

Scenariodetails

Deze oplossing maakt gebruik van Azure Data Explorer om bijna realtime IoT-telemetrieanalyses te krijgen voor snelstromende, streaminggegevens met grote volumes van een groot aantal IoT-apparaten.

Potentiële gebruikscases

Medewerkers

Dit artikel wordt onderhouden door Microsoft. Het is oorspronkelijk geschreven door de volgende inzenders.

Hoofdauteur:

Volgende stappen