Verarbeiten von Daten am Edge mit Azure IoT-Datenprozessor (Preview)-Pipelines

Wichtig

Die von Azure Arc aktivierte Azure IoT Operations Preview befindet sich derzeit in der VORSCHAU. Sie sollten diese Vorschausoftware nicht in Produktionsumgebungen verwenden.

Die zusätzlichen Nutzungsbestimmungen für Microsoft Azure-Vorschauen enthalten rechtliche Bedingungen. Sie gelten für diejenigen Azure-Features, die sich in der Beta- oder Vorschauversion befinden oder aber anderweitig noch nicht zur allgemeinen Verfügbarkeit freigegeben sind.

Industrieressourcen generieren Daten in vielen verschiedenen Formaten und verwenden verschiedene Kommunikationsprotokolle. Diese Vielfalt von Datenquellen, gepaart mit unterschiedlichen Schemas und Einheitenmaßen, erschwert die effektive Verwendung und Analyse von Rohdaten. Darüber hinaus können Sie aus Compliance-, Sicherheits- und Leistungsgründen nicht alle Datasets in die Cloud hochladen.

Um diese Daten traditionell zu verarbeiten, sind teure, komplexe und zeitaufwendige Datentechniken erforderlich. Azure IoT-Datenprozessor (Preview) ist ein konfigurierbarer Datenverarbeitungsdienst, der die Komplexität und Vielfalt industrieller Daten bewältigen kann. Verwenden Sie den Datenprozessor, um Daten aus unterschiedlichen Quellen verständlicher, nutzbarer und wertvoller zu machen.

Was ist Azure IoT-Datenprozessor (Preview)

Azure IoT-Datenverarbeitung (Preview) ist eine optionale Komponente von Azure IoT Einsatz (Preview). Mit dem Datenprozessor können Sie die Daten von Ihren Geräten aggregieren, anreichern, normalisieren und filtern. Der Datenprozessor ist ein pipelinebasiertes Datenverarbeitungsmodul, mit dem Sie Daten im Edgebereich verarbeiten können, bevor Sie sie an andere Dienste, entweder im Edgebereich oder in der Cloud, senden:

Der Datenprozessor erfasst Echtzeitstreamingdaten aus Quellen wie OPC UA-Servern, Historians und anderen Industriesystemen. Er normalisiert diese Daten, indem verschiedene Datenformate in ein standardisiertes, strukturiertes Format konvertiert werden, das sich leichter abfragen und analysieren lässt. Der Datenprozessor kann die Daten auch kontextualisieren, indem er sie mit Verweisdaten oder zuletzt bekannten Werten (Last Known Values, LKV) anreichert, um einen umfassenden Überblick über Ihre industriellen Vorgänge zu bieten.

Die Ausgabe des Datenprozessors besteht aus sauberen, angereicherten und standardisierten Daten, die bereit sind für Downstreamanwendungen wie Echtzeitanalyse- und Erkenntnissetools. Der Datenprozessor reduziert die Zeit, die erforderlich ist, um Rohdaten in umsetzbare Erkenntnisse umzuwandeln, erheblich.

Wesentliche Funktionen des Datenprozessors sind unter anderem:

• Flexible Datennormalisierung zum Konvertieren mehrerer Datenformate in eine standardisierte Struktur.

• Anreicherung von Datenströmen mit Verweis- oder LKV-Daten, um den Kontext zu verbessern und bessere Erkenntnisse zu ermöglichen.

• Integrierte Microsoft Fabric-Integration zur Vereinfachung der Analyse sauberer Daten.

• Die Möglichkeit, Daten aus verschiedenen Quellen zu verarbeiten und die Daten an verschiedenen Zielen zu veröffentlichen.

• Als datenagnostische Datenverarbeitungsplattform kann der Datenprozessor Daten in beliebigem Format erfassen, die Daten verarbeiten und sie dann an ein Ziel schreiben. Zur Unterstützung dieser Funktionen kann der Datenprozessor verschiedene Formate deserialisieren und serialisieren. So kann er beispielsweise in das Parquet-Format serialisieren, um Dateien in Microsoft Fabric zu schreiben.

• Automatische und konfigurierbare Wiederholungsrichtlinien zum Behandeln vorübergehender Fehler beim Senden von Daten an Cloudziele.

Bereitstellen der Datenverarbeitung

Die Datenverarbeitung ist nicht standardmäßig in einer Azure IoT Einsatz (Preview)-Bereitstellung enthalten. Wenn Sie beabsichtigen, die Datenverarbeitung zu verwenden, müssen Sie sie hinzufügen, wenn Sie Azure IoT Einsatz (Preview) bereitstellen – Sie können sie später nicht hinzufügen. Verwenden Sie zum Bereitstellen der Datenverarbeitung das Argument --include-dp, wenn Sie den Befehl az iot ops init ausführen. Wenn Sie mehr erfahren wollen, finden Sie weitere Informationen unter Bereitstellen von Azure IoT Einsatz (Preview)-Erweiterungen in einem Kubernetes-Cluster.

Was ist eine Pipeline?

Eine Datenprozessorpipeline verfügt über eine Eingabequelle, aus der die Daten gelesen werden, ein Ziel, in das verarbeitete Daten geschrieben werden, und eine variable Anzahl von Zwischenphasen zum Verarbeiten der Daten.

Die Zwischenphasen stellen die verschiedenen verfügbaren Datenverarbeitungsfunktionen dar:

• Sie können einer Pipeline so viele Zwischenphasen hinzufügen, wie benötigt werden.
• Sie können die Zwischenphasen einer Pipeline ganz nach Ihrem Bedarf anordnen. Sie können die Phasen auch noch nach dem Erstellen der Pipeline neu anordnen.
• Jede Phase entspricht einer definierten Implementierungsschnittstelle und einem Eingabe-/Ausgabeschemavertrag..
• Jede Phase ist unabhängig von den anderen Phasen in der Pipeline.
• Alle Phasen werden innerhalb des Gültigkeitsbereichs einer Partition ausgeführt. Daten werden nicht von verschiedenen Partitionen gemeinsam genutzt.
• Daten fließen nur von einer Phase zur nächsten.

Datenprozessorpipelines können die folgenden Phasen verwenden:

Phase	Beschreibung
Quelle – MQ	Ruft Daten von einem MQTT Vermittler ab.
Quelle – HTTP-Endpunkt	Ruft Daten von einem HTTP-Endpunkt ab.
Quelle – SQL	Ruft Daten aus einer Microsoft SQL Server-Datenbank ab.
Quelle - ZustromDB	Ruft Daten aus einer ZustromDB-Datenbank ab.
Filter	Filtert Daten, die die Phase durchlaufen. Beispielsweise können Sie jede Nachricht mit einer Temperatur ausfiltern, die außerhalb des Bereichs von 50F-150F liegt.
Transformieren	Normalisiert die Struktur der Daten. Ändern Sie beispielsweise die Struktur von {"Name": "Temp", "value": 50} in {"temp": 50}.
LKV	Speichert ausgewählte Metrikwerte in einem LKV-Speicher. Sie können beispielsweise nur Temperatur- und Feuchtigkeitsmessungen in LKV speichern und den Rest ignorieren. Eine nachfolgende Phase kann eine Nachricht mit den gespeicherten LKV-Daten anreichern.
Erweitern	Reichert Nachrichten mit Daten aus dem Verweisdatenspeicher an. Beispielsweise können Sie einen Operatornamen und eine Losnummer aus dem Betriebsdataset hinzufügen.
Aggregieren	Aggregiert Werte, die die Phase durchlaufen. Wenn beispielsweise Temperaturwerte alle 100 Millisekunden gesendet werden, geben Sie alle 30 Sekunden eine durchschnittliche Temperaturmetrik aus.
Aufruf	Ruft einen externen HTTP- oder gRPC-Dienst auf. Beispielsweise können Sie eine Azure-Funktion aufrufen, um aus einem benutzerdefinierten Nachrichtenformat in JSON zu konvertieren.
Ziel – MQ	Schreibt Ihre verarbeiteten, sauberen und kontextualisierten Daten in ein MQTT-Thema.
Ziel – Verweis	Schreibt Ihre verarbeiteten Daten in den integrierten Verweisspeicher. Andere Pipelines können den Verweisspeicher verwenden, um ihre Nachrichten anzureichern.
Ziel – gRPC	Sendet Ihre verarbeiteten, sauberen und kontextualisierten Daten an einen gRPC-Endpunkt.
Ziel – HTTP	Sendet Ihre verarbeiteten, sauberen und kontextualisierten Daten an einen HTTP-Endpunkt.
Ziel – Fabric Lakehouse	Sendet Ihre verarbeiteten, sauberen und kontextualisierten Daten an ein Microsoft Fabric Lakehouse in der Cloud.
Ziel – Azure Data Explorer	Sendet Ihre verarbeiteten, sauberen und kontextualisierten Daten an einen Azure Data Explorer-Endpunkt in der Cloud.

Nächster Schritt

Informationen zum Testen von Datenprozessorpipelines finden Sie in den Azure IoT Einsatz-Schnellstartanleitungen.

Weitere Informationen zum Datenprozessor finden Sie unter:

• Übersicht der Nachrichtenstruktur
• Übersicht über Serialisierungs- und Deserialisierungsformate