Lösungsmöglichkeiten
Dieser Artikel ist ein Lösungsvorschlag. Wenn Sie möchten, dass wir diesen Artikel um weitere Informationen ergänzen, z. B. potenzielle Anwendungsfälle, alternative Dienste, Überlegungen zur Implementierung oder Preisempfehlungen, lassen Sie es uns über Feedback auf GitHub wissen.
In dieser Lösungsidee wird beschrieben, wie Azure Data Explorer nahezu echtzeitbasierte Analysen für schnelles, schnelles Streaming von Daten aus Internet of Things(IoT)-Geräten und Sensoren bereitstellt. Dieser Analyseworkflow ist Teil einer gesamten IoT-Lösung, die operative und analytische Workloads mit Azure Cosmos DB und Azure Data Explorer integriert.
Jupyter ist eine Marke des entsprechenden Unternehmens. Die Verwendung dieser Marke impliziert keine Empfehlung. Apache® und Apache Kafka® sind entweder eingetragene Marken oder Marken der Apache Software Foundation in den USA und/oder anderen Ländern. Die Verwendung dieser Markierungen impliziert kein Endorsement durch die Apache Software Foundation.
Aufbau
Laden Sie eine Visio-Datei dieser Architektur herunter.
Datenfluss
Azure Event Hubs, Azure IoT Hub oder Kafka erfassen eine Vielzahl von schnell fließenden Streamingdaten wie Protokolle, Geschäftsereignisse und Benutzeraktivitäten.
Azure Functions oder Azure Stream Analytics verarbeiten die Daten in Echtzeit.
Azure Cosmos DB speichert streamte Nachrichten im JSON-Format, um eine Echtzeitbetriebsanwendung zu dienen.
Azure Data Explorer nimmt Daten für Analysen auf und verwendet seine Konnektoren für Azure Event Hubs, Azure IoT Hub oder Kafka für niedrige Latenz und hohen Durchsatz.
Alternativ können Sie Blobs aus Ihrem Azure Blob Storage- oder Azure Data Lake Storage-Konto in Azure Data Explorer mithilfe einer Ereignisrasterdatenverbindung erfassen.
Sie können auch Daten kontinuierlich in Azure Storage in komprimiertem, partitioniertem Apache-Parkettformat exportieren und die Daten nahtlos mit Azure Data Explorer abfragen. Einzelheiten finden Sie unter Übersicht über den kontinuierlichen Datenexport.
Um sowohl die operativen als auch die analytischen Anwendungsfälle zu bedienen, können die Daten entweder parallel zu Azure Data Explorer und Azure Cosmos DB oder von Azure Cosmos DB zu Azure Data Explorer geleitet werden.
Azure Cosmos DB-Transaktionen können Azure Functions über den Änderungsfeed auslösen. Funktionen streamen Daten in Event Hubs für die Aufnahme in Azure Data Explorer.
oder
Azure Functions können Azure Digital Twins über die API aufrufen, die dann Daten zu Event Hubs für die Aufnahme in Azure Data Explorer streamen.
Die folgenden Schnittstellen erhalten Einblicke aus Daten, die in Azure Data Explorer gespeichert sind:
- Benutzerdefinierte Analyse-Apps, die Daten aus Azure Digital Twins und Azure Data Explorer APIs kombinieren
- Analyse-Dashboards in Quasi-Echtzeit, die Azure Data Explorer Dashboards Power BI oder Grafana verwenden
- Alarme und Benachrichtigungen vom Azure Data Explorer Connector für Azure Logic Apps
- Die Azure Data Explorer Web-Benutzeroberfläche, Kusto.Explorer und Jupyter Notebooks
Azure Data Explorer lässt sich in Azure Databricks und Azure Machine Learning integriert, um ML-Dienste (Maschinelles Lernen) bereitzustellen. Sie können ML-Modelle auch mit anderen Tools und Diensten erstellen und sie in den Azure Data Explorer exportieren, um Daten zu bewerten.
Komponenten
Diese Lösungsidee verwendet die folgenden Azure-Komponenten:
Azure-Daten-Explorer
Azure Data Explorer ist ein schneller, vollständig verwalteter und hoch skalierbarer Big-Data-Analysedienst. Azure Data Explorer kann große Mengen von Streamingdaten aus Anwendungen, Websites und IoT-Geräten in Echtzeit analysieren, um Analyseanwendungen und Dashboards zu bedienen.
Azure Data Explorer bietet systemeigene erweiterte Analysen für:
- Zeitreihenanalyse.
- Mustererkennung.
- Anomalieerkennung und -vorhersage.
- Machine learning (ML).
Die Azure Data Explorer Web-Benutzeroberfläche verbindet sich mit Azure Data Explorer Clustern, um beim Schreiben, Ausführen und Freigeben Kusto-Abfragesprache Befehle und Abfragen zu helfen. Azure Data Explorer Dashboards sind ein Feature in der Data Explorer Web-Benutzeroberfläche, die Kusto-Abfragen in optimierte Dashboards systemeigene exportiert.
Weitere Azure-Komponenten
- Azure Cosmos DB: Vollständig verwalteter NoSQL-Datenbankdienst für die moderne App-Entwicklung mit offenen APIs für jede Größe
- Azure Digital Twins speichert digitale Modelle physischer Umgebungen, um die Erstellung von IoT-Lösungen der nächsten Generation zu unterstützen, die die reale Welt modellieren.
- Azure Event Hubs ist ein vollständig verwalteter Dienst für die Datenerfassung in Echtzeit.
- Azure IoT Hub ermöglicht die bidirektionale Kommunikation zwischen IoT-Geräten und der Azure-Cloud.
- Azure Synapse Link for Azure Cosmos DB führt nahezu in Echtzeit Analysen über betriebliche Daten in Azure Cosmos DB durch, ohne dass die Leistung oder die Kosten von transaktionalen Arbeitslasten beeinträchtigt werden. Synapse Link verwendet die SQL Serverless- und Spark Pools-Analysemodulen aus dem Azure Synapse Arbeitsbereich.
- Kafka on HDInsight ist ein einfacher, kostengünstiger, unternehmenstauglicher Service für Open-Source-Analysen mit Apache Kafka.
Szenariodetails
Diese Lösung verwendet Azure Data Explorer, um IoT-Telemetrieanalysen in Quasi-Echtzeit für Streamingdaten mit hoher Übertragungsgeschwindigkeit und großem Durchsatz von einer Vielzahl von IoT-Geräten abzurufen.
Mögliche Anwendungsfälle
- Flottenmanagement für die prädiktive Wartung von Fahrzeugteilen. Diese Lösung eignet sich ideal für die Automobil- und Transportbranche.
- Anlagenverwaltung, für Energie- und Umweltoptimierung.
- Kombination von Echtzeit-Straßenbedingungen mit Wetterdaten für sichereres autonomes Fahren.
Beitragende
Dieser Artikel wird von Microsoft gepflegt. Er wurde ursprünglich von folgenden Mitwirkenden geschrieben:
Hauptautor:
- Ornat Spodek | Senior Content Manager