Freigeben über

Verarbeiten und Weiterleiten von Daten mit Datenflüssen

Datenflüsse vereinfachen das Einrichten von Datenpfaden zum Verschieben, Transformieren und Anreichern von Daten. Mithilfe von Datenflüssen können Sie verschiedene Datenquellen verbinden und Datenvorgänge ausführen. Die Datenflusskomponente ist Teil Azure IoT Operations, die Sie als Azure Arc-Erweiterung bereitstellen. Sie konfigurieren einen Datenfluss mithilfe von benutzerdefinierten Kubernetes-Ressourcendefinitionen (CRDs).

Sie können Konfigurationen für verschiedene Anwendungsfälle schreiben, z. B.:

  • Transformieren Sie Daten, und senden Sie sie zurück an MQTT.
  • Transformieren Sie Daten, und senden Sie sie an die Cloud.
  • Daten ohne Transformation an die Cloud oder den Edge senden.

Datenflüsse sind nicht auf die Region beschränkt, in der Sie die IoT Operations-Instanz bereitstellen. Sie können Datenflüsse verwenden, um Daten an Cloudendpunkte in verschiedenen Regionen zu senden.

Schlüsselfunktionen

In diesem Abschnitt werden die wichtigsten Features von Datenflüssen beschrieben.

Datenverarbeitung und -routing

Datenflüsse ermöglichen die Erfassung, Verarbeitung und das Routing der Nachrichten an angegebene Ziele. Sie können Folgendes angeben:

  • Quellen: Wo Sie Nachrichten empfangen.
  • Ziele: Wo Sie Nachrichten ableiten, einschließlich Unterstützung für dynamisches Themenrouting basierend auf Nachrichteninhalten für MQTT-Endpunkte.
  • Transformationen (optional): Konfiguration für Datenverarbeitungsvorgänge.

Transformationsfunktionen

Sie können Transformationen während der Verarbeitungsphase auf Daten anwenden, um verschiedene Vorgänge auszuführen. Zu diesen Vorgängen gehören:

  • Berechnen neuer Eigenschaften: Basierend auf vorhandenen Eigenschaften in der Nachricht.
  • Umbenennen von Eigenschaften: So standardisieren oder klären Sie Daten.
  • Konvertieren von Einheiten: Konvertieren von Werten in verschiedene Maßeinheiten.
  • Standardisierung von Werten: Skalieren von Eigenschaftswerten auf einen benutzerdefinierten Bereich.
  • Kontextbezogene Daten: Hinzufügen von Referenzdaten zu Nachrichten zur Anreicherung und zum Fördern von Erkenntnissen.

Konfiguration und Bereitstellung

Spezifizieren Sie die Konfiguration mithilfe von Kubernetes CRDs. Basierend auf dieser Konfiguration erstellen Datenflussbetreiber*innen Datenflussinstanzen und sorgen so für Hochverfügbarkeit und Zuverlässigkeit.

Vorteile

  • Vereinfachtes Setup: Einfaches Verbinden von Datenquellen und Zielen.
  • Flexible Transformationen: Durchführen verschiedenster Datenvorgänge.
  • Skalierbare Konfiguration: Verwenden von Kubernetes-CRDs für skalierbare und verwaltbare Konfigurationen.
  • Hochverfügbarkeit: Native Kubernetes-Ressource sorgt für Zuverlässigkeit.

Mithilfe von Datenflüssen können Sie Ihre Datenpfade effizient verwalten. Sie können sicherstellen, dass Daten korrekt gesendet, transformiert und angereichert werden, um Ihren betrieblichen Anforderungen gerecht zu werden.

Schemaregistrierung

Die Schemaregistrierung, eine Funktion des Azure-Geräteregisters, ist ein synchronisiertes Repository sowohl in der Cloud als auch am Netzwerkrand. In der Schemaregistrierung werden die Definitionen von Nachrichten gespeichert, die von Edgeobjekten stammen, und anschließend wird eine API für den Zugriff auf diese Schemata am Edge verfügbar gemacht. Südgebundene Connectors, wie der Connector für OPC UA, können Nachrichtenschemen erstellen und zur Schemaregistrierung hinzufügen, oder Sie können Schemen in die Web-UI für Betrieb hochladen.

Datenflüsse verwenden Nachrichtenschemas, um die Nachricht in das vom Zielendpunkt erwartete Format zu transformieren.

Weitere Informationen finden Sie unter Grundlegendes zu Nachrichtenschemata.

Nachrichtenspeicherung des lokalen MQTT-Broker-Endpunkts

Wenn Sie den lokalen MQTT-Broker als Quellendpunkt in einem Datenfluss verwenden, speichert das System Nachrichten während eines Verbindungsverlusts zwischen dem Datenfluss und dem Zielendpunkt. Gehen Sie als Beispielszenario davon aus, dass Sie einen Datenfluss mithilfe des standardmäßigen lokalen MQTT-Brokers als Quellendpunkt erstellen und als Zielendpunkt Azure Event Hubs. Wenn die Verbindung zwischen dem Datenfluss und Azure Event Hubs verloren geht, speichert die Nachrichtenwarteschlange des MQTT-Brokerabonnents die Nachrichten. Wenn die Verbindung wiederhergestellt wird, sendet der Datenfluss die Nachrichten in der Abonnentennachrichtenwarteschlange an Azure Event Hubs.

Die lokale MQTT-Broker-Nachrichtenwarteschlange wird standardmäßig im Arbeitsspeicher gespeichert. Sie können den MQTT-Broker so konfigurieren, dass Nachrichten auf dem Datenträger gespeichert werden, indem Sie die Konfiguration des Datenträgerpuffers verwenden. Weitere Informationen zur MQTT-Brokerkonfiguration finden Sie unter Konfigurieren von Brokereinstellungen für hohe Verfügbarkeit, Skalierung und Speicherauslastung. Weitere Informationen zum datenträgergesicherten Nachrichtenpuffer finden Sie unter Verhalten des datenträgergesicherten Nachrichtenpuffers konfigurieren.

Zugehöriger Inhalt

  • Last updated on