Teilen über


Anreichern von Daten und Erfassen in Event Hub mithilfe des No-Code-Editors von Stream Analytics

In diesem Artikel wird beschrieben, wie Sie den No-Code-Editor verwenden können, um einfach einen Stream Analytics-Auftrag zu erstellen. Es liest kontinuierlich aus Ihren Event Hubs, reichert die eingehenden Daten mit SQL-Referenzdaten an und schreibt die Ergebnisse dann kontinuierlich in Event Hub.

Voraussetzungen

  • Ihre Azure Event Hubs- und SQL-Referenzdatenressourcen müssen öffentlich zugänglich sein und dürfen sich nicht hinter einer Firewall oder in einem virtuellen Azure-Netzwerk befinden.
  • Die Daten in Ihrer Event Hubs-Instanz müssen entweder im JSON-, CSV- oder Avro-Format serialisiert werden.

Entwickeln eines Stream Analytics-Auftrags zum Anreichern von Event Hub-Daten

  1. Suchen Sie im Azure-Portal nach der Azure Event Hubs-Instanz, und wählen Sie sie aus.

  2. Wählen Sie Features>Daten verarbeiten und dann auf der Karte Anreichern von Daten und Erfassen in Event Hub die Option Starten aus.

    Screenshot der den Filter und die Erfassung auf der Karte ADLS Gen2 zeigt, wo Sie Start auswählen.

  3. Geben Sie einen Namen für den Stream Analytics-Auftrag ein, und wählen Sie dann Erstellen aus.

    Screenshot der zeigt, wo Sie einen Jobnamen angeben.

  4. Geben Sie im Fenster „Event Hubs“ den Serialisierungstyp Ihrer Daten sowie die Authentifizierungsmethode an, die der Auftrag zum Herstellen einer Verbindung mit Event Hubs verwendet. Wählen Sie dann Verbinden aus.
    Screenshot: Event Hubs-Verbindungskonfiguration.

  5. Wenn die Verbindung erfolgreich eingerichtet wurde und Datenströme bei der Event Hubs-Instanz eingehen, werden sofort zwei Dinge angezeigt:

    • Felder, die in den Eingabedaten vorhanden sind. Sie können Feld hinzufügen oder das Symbol mit den drei Punkten neben einem Feld auswählen, um den Typ zu entfernen, umzubenennen oder zu ändern.
      Screenshot: Event Hubs-Feldliste, in der Sie den Feldtyp entfernen, umbenennen oder ändern können
    • Ein Livebeispiel für eingehende Daten in der Tabelle Datenvorschau unter der Diagrammansicht. Es wird in regelmäßigen Abständen automatisch aktualisiert. Sie können Streamingvorschau anhalten auswählen, um eine statische Ansicht der Beispieleingabedaten anzuzeigen.
      Screenshot: Beispieldaten unter der Datenvorschau.
  6. Wählen Sie die Kachel Referenz-SQL-Eingabe aus, um eine Verbindung mit der Referenz-SQL-Datenbank herzustellen.
    Screenshot: Konfiguration der SQL-Referenzdatenverbindung

  7. Wählen Sie die Kachel Verknüpfen aus. Wählen Sie im rechten Konfigurationsbereich ein Feld aus jeder Eingabe aus, um die eingehenden Daten aus den beiden Eingaben zu verknüpfen.

    Screenshot: Konfiguration des Verknüpfungsoperators

  8. Wählen Sie die Kachel Verwalten aus. Wählen Sie im Konfigurationsbereich Felder verwalten die Felder aus, die Sie an den Event Hub ausgeben möchten. Wenn Sie alle Felder hinzufügen möchten, wählen Sie Alle Felder hinzufügen aus.

    Screenshot: Operatorkonfiguration für „Felder verwalten“

  9. Wählen Sie die Kachel Event Hub aus. Geben Sie im Konfigurationsbereich Event Hub die erforderlichen Parameter ein und stellen Sie eine Verbindung her, ähnlich wie bei der Konfiguration des eingegebenen Event Hubs.

  10. Wählen Sie optional Statische Vorschau abrufen/Statische Vorschau aktualisieren aus, um die Datenvorschau anzuzeigen, die in Event Hub erfasst wird.
    Screenshot: Option „Statische Vorschau abrufen/Statische Vorschau aktualisieren“

  11. Wählen Sie Speichern und anschließend Starten aus, um den Stream Analytics-Auftrag zu starten.
    Screenshot: Optionen zum Speichern und Starten

  12. Geben Sie Folgendes an, um den Auftrag zu starten:

    • Die Anzahl der Streamingeinheiten (SU), mit denen der Auftrag ausgeführt wird. Streamingeinheiten stellen die Menge an Computeressourcen und den Arbeitsspeicher dar, die dem Auftrag zugeordnet sind. Es wird empfohlen, mit drei zu beginnen und die Anzahl dann nach Bedarf anzupassen.
    • Die Fehlerbehandlung für Ausgabedaten ermöglicht es Ihnen, das gewünschte Verhalten anzugeben, wenn die Ausgabe eines Auftrags an Ihr Ziel aufgrund von Datenfehlern fehlschlägt. Der Auftrag wird standardmäßig wiederholt, bis der Schreibvorgang erfolgreich ist. Sie können auch festlegen, dass solche Ausgabeereignisse gelöscht werden.
      Screenshot: Optionen zum Starten des Stream Analytics-Auftrags, in denen Sie die Ausgabezeit ändern, die Anzahl von Streamingeinheiten festlegen und die Fehlerbehandlung für Ausgabedaten auswählen können
  13. Nachdem Sie Starten ausgewählt haben, wird der Auftrag innerhalb von zwei Minuten gestartet, und die Metriken werden unten im Registerkartenabschnitt geöffnet.

    Screenshot: Auftragsmetrikdaten nach dem Start

    Sie können den Auftrag auch auf der Registerkarte Stream Analytics-Aufträge im Abschnitt „Daten verarbeiten“ anzeigen. Wählen Sie Metriken öffnen aus, um ihn zu überwachen oder bei Bedarf zu beenden und neu zu starten.

    Screenshot: Registerkarte „Stream Analytics-Aufträge“, auf der Sie den Status der ausgeführten Aufträge anzeigen

Überlegungen bei der Verwendung des Georeplikationsfeatures von Event Hubs

Für Azure Event Hubs wurde kürzlich das Feature Georeplikation in der Public Preview eingeführt. Dieses Feature unterscheidet sich vom Feature Georedundante Notfallwiederherstellung von Azure Event Hubs.

Wenn der Failovertyp Erzwungen und die Replikationskonsistenz Asynchron ist, garantiert der Stream Analytics-Auftrag nicht, dass genau eine Ausgabe in Azure Event Hubs erfolgt.

Als Producer mit einem Event Hub als Ausgabe kann in Azure Stream Analytics eine Wasserzeichenverzögerung für den Auftrag während eines Failovers und während der Drosselung durch Event Hubs auftreten, falls die Replikationsverzögerung zwischen dem primären und dem sekundären Replikat die maximale konfigurierte Verzögerung erreicht.

Als Consumer mit Event Hubs als Eingabe kann in Azure Stream Analytics während eines Failovers eine Wasserzeichenverzögerung auftreten, und es können nach dem Abschluss des Failovers Daten übersprungen werden oder doppelte Daten auftreten.

Aufgrund dieser Nachteile empfehlen wir, den Stream Analytics-Auftrag mit entsprechender Startzeit direkt nach Abschluss des Event Hubs-Failovers neu zu starten. Da sich das Georeplikationsfeature von Event Hubs zudem in der Public Preview befindet, wird derzeit nicht empfohlen, dieses Muster für Stream Analytics-Aufträge in der Produktion zu verwenden. Das aktuelle Stream Analytics-Verhalten wird verbessert, bevor das Event Hubs-Georeplikationsfeature allgemein verfügbar ist und in Stream Analytics-Produktionsaufträgen verwendet werden kann.

Nächste Schritte

Erfahren Sie mehr über Azure Stream Analytics und darüber, wie Sie den von Ihnen erstellten Auftrag überwachen.