Entwerfen einer Azure Stream Analytics-Lösung für die Datenanalyse

  • 6 Minuten

Der Prozess der Nutzung von Datenströmen, ihrer Analyse und der Ableitung verwertbarer Erkenntnisse wird als Datenstromverarbeitung bezeichnet. Azure Stream Analytics ist eine vollständig verwaltete (PaaS-Angebot), komplexe Ereignisverarbeitungs-Engine für Echtzeitanalysen. Sie bietet die Möglichkeit, Echtzeitanalysen für mehrere Datenströme aus Quellen wie IoT-Gerätedaten, Sensoren, Clickstreams und Social Media-Feeds durchzuführen.

Wissenswertes über Azure Stream Analytics

Azure Stream Analytics funktioniert mit den folgenden Konzepten:

  • Datenströme: Datenströme sind kontinuierliche Daten, die von Anwendungen, IoT-Geräten oder Sensoren generiert werden. Die Datenströme werden analysiert, und daraus werden handlungsrelevante Erkenntnisse extrahiert. Einige Beispiele sind die Überwachung von Datenströmen von Industrie- und Fertigungsgeräten sowie die Überwachung von Wasserleitungsdaten durch Versorgungsunternehmen. Datenströme helfen dabei, Veränderungen im zeitlichen Verlauf nachzuvollziehen.
  • Ereignisverarbeitung: Ereignisverarbeitung bezieht sich auf die Nutzung und Analyse eines kontinuierlichen Datenstroms, um handlungsrelevante Erkenntnisse aus den Ereignissen innerhalb dieses Datenstroms abzuleiten. Ein Beispiel ist, wie ein Auto, das eine Mautstation passiert, zeitliche Informationen wie einen Zeitstempel enthalten sollte, der angibt, wann das Ereignis aufgetreten ist.

Wichtig

Azure Stream Analytics unterstützt die Verarbeitung von Ereignissen in drei Datenformaten: CSV, JSON und Avro.

Die folgende Abbildung zeigt die Stream Analytics-Pipeline sowie die Erfassung, Analyse und Weiterleitung von Daten zur Präsentation oder Aktion.

Diagram that shows the Stream Analytics pipeline, and how data is ingested, analyzed, and sent for presentation or action.

Wichtigste Funktionen

Stream Analytics erfasst Daten aus Azure Event Hubs (einschließlich Azure Event Hubs von Apache Kafka), Azure IoT Hub oder Azure Blob Storage. Die Abfrage, die auf der SQL-Abfragesprache basiert, kann zum einfachen Filtern, Sortieren, Aggregieren und Verknüpfen von Streamingdaten über einen bestimmten Zeitraum verwendet werden. Sie können diese SQL-Sprache auch mit JavaScript und benutzerdefinierten C#-Funktionen (UDFs) erweitern.

Ein Azure Stream Analytics-Auftrag besteht aus einer Eingabe, Abfrage und Ausgabe. Mit der Auftragsausgabe können Sie folgende Aufgaben erledigen:

  • Weiterleiten von Daten an Speichersysteme wie Azure Blob Storage, Azure SQL-Datenbank, Azure Data Lake Store und Azure Cosmos DB.
  • Senden von Daten an Power BI zur Echtzeitvisualisierung.
  • Speichern von Daten in einem Data Warehouse-Dienst wie Azure Synapse Analytics, um ein Machine Learning-Modell basierend auf Verlaufsdaten zu trainieren oder Batchanalysen durchzuführen.
  • Auslösen benutzerdefinierter Downstreamworkflows, indem Sie die Daten an Dienste wie Azure Functions, Azure Service Bus-Themen oder Azure-Warteschlangen senden.

Geschäftsszenario

Tailwind Traders verwendet digitale Transformation für seine Anwendungen und Dienste, um das Wachstum des Unternehmens zu unterstützen. Sie müssen den Zugriff auf sowie die Speicherung und Analyse von Sensordaten aus dem GPS ihrer Auslieferungslastwagen bereitstellen, die unterwegs sind und Waren ausliefern. Sie suchen nach einer Lösung, um Echtzeitanalysen für GPS-Streamingdaten von den Lkws bereitzustellen, damit Administratoren Entscheidungen in Echtzeit treffen können. Bei einer weiteren Analyse stellen Sie fest, dass das Team diese Daten gerne in einem vorhandenen Power BI-Visualisierungsdashboard präsentiert bekommen möchte. Azure Stream Analytics kann dabei helfen, die Anforderungen dieses Szenarios zu erfüllen.

Azure Stream Analytics ist eine ideale Lösung für andere gängige Anforderungen an Unternehmensdaten. Stellen Sie sich die folgenden Szenarien vor:

Anforderung BESCHREIBUNG
Analysieren von Telemetriedatenströmen von IoT-Geräten in Echtzeit. Sammeln Sie Sensordaten in Echtzeit in Azure Stream Analytics, indem Sie Automatisierungssysteme erstellen, die Temperatur, Luftfeuchtigkeit und Belüftungslaufzeiten weiterleiten. Sie können Anpassungen vornehmen, um eine optimale Gebäudetemperatur aufrechtzuerhalten und die Kosten zu senken.
Erstellen von Webprotokollen und Clickstream-Analysen. Ein Einzelhändler für Konsumgüter kann Benutzern basierend auf E-Commerce-Analysen Produktvorschläge in Echtzeit anbieten.
Erstellen von räumlichen Geoanalysen. Vorbereiten der Analyse für Geodatenquellen wie Sensoren, soziale Medien, Satellitenbilder und mobile Geräte Sie können extreme Wetterereignisse wie Waldbrände und Hurrikans vorhersagen, um Fluggesellschaften bei der Routenplanung zu helfen. Sie können mobile Warnungen wegen widriger Wetterbedingungen an Kunden senden, die auf deren geografischen Standorten basieren.
Ausführen von Remoteüberwachung und Predictive Maintenance für hochwertige Anlagen. Überwachen hochwertiger Anlagen wie Industriegeräte, indem Sie Betriebsdaten in Azure Stream Analytics sammeln. Sie können die produktive Lebensdauer Ihrer Geräte durch Predictive Maintenance maximieren. Von elektrischen Netztransformatoren gewonnene Daten können von Versorgungsunternehmen verwendet werden, um Betriebsunterbrechungen zu vermeiden.
Ausführen von Echtzeitanalysen mit Point-of-Sale-Daten. Erkennen betrügerischer Kreditkartentransaktionen und Identifizieren verdächtiger Aktivitäten am Point-of-Sale. Sie können ungewöhnlich große Transaktionen oder Aktionen an ungewöhnlichen Standorten anhand der Kontaktinformationen des Kreditkarteninhabers erkennen. Warnungstrigger können für die in Azure Stream Analytics erfassten Daten eingerichtet werden.

In dem Tailwind Traders-Szenario können wir Azure Stream Analytics nutzen, um die Standorte der Lkws in Echtzeit über Power BI zu visualisieren. Für Entscheidungen der Geschäftsleitung über analytische Workloads können Daten zur zukünftigen Analyse in Data Warehouses wie Azure Cosmos DB oder Azure Data Lake gespeichert werden.

Zu beachtende Aspekte bei Verwendung von Azure Stream Analytics

Azure Stream Analytics kann eine wertvolle Komponente in Ihrem Datenintegrationsplan für Tailwind Traders sein. Sehen Sie sich die folgenden Vorteile des Diensts an.

  • Berücksichtigen von Bereitstellungsanforderungen. Azure Stream Analytics ist ein vollständig verwalteter Dienst. Er wird als PaaS-Angebot (Platform-as-a-Service) bereitgestellt, sodass kein Mehraufwand für die Bereitstellung von Hardware oder Infrastruktur erforderlich ist. Azure Stream Analytics verwaltet Ihren Auftrag vollständig, sodass Sie sich auf Ihre Geschäftslogik konzentrieren können, nicht auf die Infrastruktur.
  • Berücksichtigen von Kosten. Die Kosten für Stream Analytics sind niedrig. Die Abrechnung erfolgt über verbrauchte Streamingeinheiten (Streaming Units, SUs), die die Menge der zugeordneten CPU-Ressourcen und Arbeitsspeicherressourcen darstellen. Das Hoch- und Herunterskalieren erfolgt basierend auf geschäftlichen Anforderungen und kann zur Kostensenkung beitragen. Es fallen keine Wartungskosten an.
  • Berücksichtigen der Implementierung. Sie können Azure Stream Analytics für Analysen im großen Stil in der Cloud ausführen. Für Analysen mit extrem niedrigen Wartezeiten führen Sie Stream Analytics auf IoT Edge oder Azure Stack aus.
  • Berücksichtigen der Leistung. Stream Analytics bietet zuverlässige Leistungsgarantien. Durch Partitionierung wird eine höhere Leistung unterstützt, weil komplexe Abfragen parallel auf mehreren Streamingknoten ausgeführt werden können. Stream Analytics kann Millionen von Ereignissen pro Sekunde verarbeiten. Es kann Ergebnisse mit extrem niedrigen Wartezeiten liefern.
  • Berücksichtigen der Sicherheit. Stream Analytics verschlüsselt jegliche ein- und ausgehende Kommunikation und unterstützt TLS 1.2. Integrierte Prüfpunkte werden ebenfalls verschlüsselt. Die eingehenden Daten werden von Stream Analytics nicht gespeichert, da die gesamte Verarbeitung im Arbeitsspeicher stattfindet.