Oplossingsideeën
Dit artikel is een oplossingsidee. Als u wilt dat we de inhoud uitbreiden met meer informatie, zoals mogelijke use cases, alternatieve services, implementatieoverwegingen of prijsrichtlijnen, laat het ons dan weten door GitHub-feedback te geven.
In dit oplossingsidee wordt beschreven hoe Azure Data Explorer bijna realtime analyses biedt voor snelle stromen, grote volumestreaminggegevens van IoT-apparaten en -sensoren (Internet of Things). Deze analysewerkstroom maakt deel uit van een algemene IoT-oplossing die operationele en analytische workloads integreert met Azure Cosmos DB en Azure Data Explorer.
Jupyter is een handelsmerk van zijn respectieve bedrijf. Er wordt geen goedkeuring geïmpliceerd door het gebruik van dit merk. Apache en Apache® Kafka® zijn gedeponeerde handelsmerken of handelsmerken van de Apache Software Foundation in de Verenigde Staten en/of andere landen. Er wordt geen goedkeuring door De Apache Software Foundation geïmpliceerd door het gebruik van deze markeringen.
Architectuur
Een Visio-bestand van deze architectuur downloaden.
Gegevensstroom
Azure Event Hubs, Azure IoT Hub of Kafka nemen een groot aantal snelle streaminggegevens op, zoals logboeken, bedrijfsgebeurtenissen en gebruikersactiviteiten.
Azure Functions of Azure Stream Analytics verwerkt de gegevens in bijna realtime.
Azure Cosmos DB slaat gestreamde berichten op in JSON-indeling om een realtime operationele toepassing te leveren.
Azure Data Explorer neemt gegevens op voor analyse, met behulp van de connectors voor Azure Event Hubs, Azure IoT Hub of Kafka voor lage latentie en hoge doorvoer.
U kunt ook blobs opnemen vanuit uw Azure Blob Storage - of Azure Data Lake Storage-account in Azure Data Explorer met behulp van een Event Grid-gegevensverbinding.
U kunt ook continu gegevens exporteren naar Azure Storage in gecomprimeerde, gepartitioneerde Apache Parquet-indeling en naadloos query's uitvoeren op de gegevens met Azure Data Explorer. Zie Overzicht van continue gegevensexport voor meer informatie.
Voor zowel operationele als analytische gebruiksvoorbeelden kunnen gegevens parallel naar Azure Data Explorer en Azure Cosmos DB worden gerouteerd, of van Azure Cosmos DB naar Azure Data Explorer.
Azure Cosmos DB-transacties kunnen Azure Functions activeren via de wijzigingenfeed. Functions streamt gegevens naar Event Hubs voor opname naar Azure Data Explorer.
or
Azure Functions kan Azure Digital Twins aanroepen via de API, die vervolgens gegevens naar Event Hubs streamt voor opname in Azure Data Explorer.
De volgende interfaces krijgen inzichten uit gegevens die zijn opgeslagen in Azure Data Explorer:
- Aangepaste analyse-apps die gegevens combineren van Azure Digital Twins en Azure Data Explorer-API's
- Bijna realtime analysedashboards die gebruikmaken van Azure Data Explorer-dashboards, Power BI of Grafana
- Waarschuwingen en meldingen van de Azure Data Explorer-connector voor Azure Logic Apps
- De webinterface van Azure Data Explorer, Kusto.Explorer en Jupyter-notebooks
Azure Data Explorer kan worden geïntegreerd met Azure Databricks en Azure Machine Learning om machine learning-services (ML) te bieden. U kunt ook ML-modellen bouwen met behulp van andere hulpprogramma's en services en deze exporteren naar Azure Data Explorer voor het scoren van gegevens.
Onderdelen
In dit oplossingsidee worden de volgende Azure-onderdelen gebruikt:
Azure Data Explorer
Azure Data Explorer is een snelle, volledig beheerde en zeer schaalbare big data analytics-service. Azure Data Explorer kan grote hoeveelheden streaminggegevens van toepassingen, websites en IoT-apparaten in bijna realtime analyseren om analysetoepassingen en dashboards te bedienen.
Azure Data Explorer biedt systeemeigen geavanceerde analyses voor:
- Tijdreeksanalyse.
- Patroonherkenning.
- Anomaliedetectie en -prognose.
- Machine learning (ML).
De webinterface van Azure Data Explorer maakt verbinding met Azure Data Explorer-clusters om Kusto-querytaal opdrachten en query's te schrijven, uit te voeren en te delen. Azure Data Explorer-dashboards zijn een functie in de webgebruikersinterface van Data Explorer waarmee Kusto-query's systeemeigen worden geëxporteerd naar geoptimaliseerde dashboards.
Andere Azure-onderdelen
- Azure Cosmos DB is een volledig beheerde, snelle NoSQL-databaseservice voor moderne app-ontwikkeling met open API's voor elke schaal.
- Azure Digital Twins slaat digitale modellen van fysieke omgevingen op om IoT-oplossingen van de volgende generatie te maken die de echte wereld modelleren.
- Azure Event Hubs is een volledig beheerde, realtime gegevensopnameservice.
- Azure IoT Hub maakt bidirectionele communicatie mogelijk tussen IoT-apparaten en de Azure-cloud.
- Azure Synapse Link voor Azure Cosmos DB voert bijna realtime analyses uit op operationele gegevens in Azure Cosmos DB, zonder dat dit gevolgen heeft voor de prestaties of kosten van transactionele workloads. Synapse Link maakt gebruik van de analyse-engines van SQL Serverless en Spark Pools vanuit de Azure Synapse-werkruimte.
- Kafka in HDInsight is een eenvoudige, rendabele, hoogwaardige service voor opensource-analyses met Apache Kafka.
Scenariodetails
Deze oplossing maakt gebruik van Azure Data Explorer om bijna realtime IoT-telemetrieanalyses te krijgen voor snelle stromende, grote streaminggegevens van een groot aantal IoT-apparaten.
Potentiële gebruikscases
- Vlootbeheer, voor voorspellend onderhoud van voertuigonderdelen. Deze oplossing is ideaal voor de automobiel- en transportindustrie.
- Faciliteitenbeheer, voor energieverbruik- en omgevingsoptimalisatie.
- Het combineren van realtime wegomstandigheden met weergegevens voor veiliger autonoom rijden.
Medewerkers
Dit artikel wordt onderhouden door Microsoft. De tekst is oorspronkelijk geschreven door de volgende Inzenders.
Hoofdauteur:
- Ornat Spodek | Senior Content Manager