Filtern und Erfassen in Azure Data Explorer mit dem No-Code-Editor von Stream Analytics

In diesem Artikel wird beschrieben, wie Sie den No-Code-Editor verwenden können, um einfach einen Stream Analytics-Auftrag zu erstellen. Er liest kontinuierlich aus Event Hubs, filtert die eingehenden Daten und schreibt dann die Ergebnisse kontinuierlich in Azure Data Explorer.

Voraussetzungen

• Ihre Azure Event Hubs- und Azure Data Explorer-Ressourcen müssen öffentlich zugänglich sein und dürfen sich nicht hinter einer Firewall oder in einem virtuellen Azure-Netzwerk befinden.
• Die Daten in Ihrer Event Hubs-Instanz müssen entweder im JSON-, CSV- oder Avro-Format serialisiert werden.

Entwickeln eines Stream Analytics-Auftrags zum Filtern und Erfassen von Echtzeitdaten

1. Suchen Sie im Azure-Portal nach der Azure Event Hubs-Instanz, und wählen Sie sie aus.

2. Wählen Sie Features>Daten verarbeiten und dann auf der Karte Filtern und Speichern von Daten in Azure Data Explorer die Option Starten aus.

   

3. Geben Sie einen Namen für den Stream Analytics-Auftrag ein, und wählen Sie dann Erstellen aus.

   

4. Geben Sie im Fenster „Event Hubs“ den Serialisierungstyp Ihrer Daten sowie die Authentifizierungsmethode an, die der Auftrag zum Herstellen einer Verbindung mit Event Hubs verwendet. Wählen Sie dann Verbinden aus.
   

5. Wenn die Verbindung erfolgreich eingerichtet wurde und Datenströme bei der Event Hubs-Instanz eingehen, werden sofort zwei Dinge angezeigt:

   • Felder, die in den Eingabedaten vorhanden sind. Sie können Feld hinzufügen oder das Symbol mit den drei Punkten neben einem Feld auswählen, um den Typ zu entfernen, umzubenennen oder zu ändern.
     
   • Ein Livebeispiel eingehender Daten in der Tabelle Datenvorschau unterhalb der Diagrammansicht. Es wird in regelmäßigen Abständen automatisch aktualisiert. Sie können Streamingvorschau anhalten auswählen, um eine statische Ansicht der Beispieleingabedaten anzuzeigen.
     

6. Wählen Sie die Kachel Filter aus, um die Daten zu aggregieren. Wählen Sie im Filterbereich ein Feld aus, um die eingehenden Daten mit einer Bedingung zu filtern.

   

7. Wählen Sie die Kachel Verwalten aus. Wählen Sie im Konfigurationsbereich Felder verwalten die Felder aus, die Sie an den Event Hub ausgeben möchten. Wenn Sie alle Felder hinzufügen möchten, wählen Sie Alle Felder hinzufügen aus.

   

8. Wählen Sie die Kachel Azure Data Explorer aus. Füllen Sie im Konfigurationsbereich die erforderlichen Parameter aus, und stellen Sie eine Verbindung her.

   Hinweis

   Die Tabelle muss in Ihrer ausgewählten Datenbank vorhanden sein, und das Tabellenschema muss genau mit der Anzahl der Felder und ihren Typen übereinstimmen, die Ihre Datenvorschau generiert.

   

9. Wählen Sie optional Statische Vorschau abrufen/Statische Vorschau aktualisieren aus, um die Datenvorschau anzuzeigen, die in Event Hub erfasst wird.
   

10. Wählen Sie Speichern und anschließend Starten aus, um den Stream Analytics-Auftrag zu starten.
    

11. Geben Sie folgende Angaben an, um den Job zu starten:

    • Die Anzahl der Streamingeinheiten (SU), mit denen der Auftrag ausgeführt wird. Recheneinheiten stellen die Menge an Rechenressourcen und Arbeitsspeicher dar, die dem Job zugeordnet sind. Es wird empfohlen, mit drei zu beginnen und die Anzahl dann nach Bedarf anzupassen.
    • Die Fehlerbehandlung für Ausgabedaten ermöglicht es Ihnen, das gewünschte Verhalten anzugeben, wenn die Ausgabe eines Auftrags an Ihr Ziel aufgrund von Datenfehlern fehlschlägt. Ihre Aufgabe wird standardmäßig erneut versucht, bis der Schreibvorgang erfolgreich ist. Sie können auch festlegen, dass solche Ausgabeereignisse gelöscht werden.
      

12. Nachdem Sie Start ausgewählt haben, wird der Auftrag innerhalb von zwei Minuten gestartet, und die Metriken werden unten im Tab-Bereich angezeigt.

    

    Sie können den Auftrag auch auf der Registerkarte Stream Analytics-Aufträge im Abschnitt „Daten verarbeiten“ anzeigen. Wählen Sie Metriken öffnen aus, um ihn zu überwachen oder bei Bedarf zu beenden und neu zu starten.

    

Überlegungen bei der Verwendung des Georeplikationsfeatures von Event Hubs

Für Azure Event Hubs wurde kürzlich das Feature Georeplikation als öffentliche Vorschauversion eingeführt. Dieses Feature unterscheidet sich von der Geo-Desaster-Wiederherstellung-Funktion von Azure Event Hubs.

Wenn der Failovertyp Erzwungen und die Replikationskonsistenz Asynchron ist, garantiert der Stream Analytics-Auftrag nicht, dass genau eine Ausgabe in Azure Event Hubs erfolgt.

Azure Stream Analytics kann als Produzent mit einem Event Hub als Ausgabemodul während eines Failovers oder einer Drosselung durch Event Hubs eine Verzögerung des Wasserzeichens bei einem Auftrag beobachten, wenn die Replikationsverzögerung zwischen dem primären und sekundären Replikat das maximal konfigurierte Verzögerungslimit erreicht.

Als Consumer mit Event Hubs als Eingabe kann Azure Stream Analytics während der Failover-Dauer eine Watermark-Verzögerung auf dem Job feststellen, und es können entweder Daten übersprungen oder doppelte Daten festgestellt werden, nachdem das Failover abgeschlossen ist.

Starten Sie aufgrund dieser Einschränkungen den Stream Analytics-Auftrag mit entsprechender Startzeit direkt nach Abschluss des Event Hubs-Failovers neu. Da sich die Georeplikationsfunktion von Event Hubs in der öffentlichen Vorschau befindet, verwenden Sie dieses Muster zu diesem Zeitpunkt nicht für Stream Analytics-Aufträge für die Produktion. Das aktuelle Stream Analytics-Verhalten wird verbessert, bevor das Event Hubs-Georeplikationsfeature allgemein verfügbar ist und in Stream Analytics-Produktionsaufträgen verwendet werden kann.

Nächste Schritte

Erfahren Sie mehr über Azure Stream Analytics und darüber, wie Sie den von Ihnen erstellten Auftrag überwachen.

• Einführung in Azure Stream Analytics
• Überwachen von Stream Analytics-Auftrag mit Azure-Portal