Verarbeiten von Daten aus einem Event Hub mit Azure Stream Analytics
Der Azure Stream Analytics-Dienst vereinfacht das Erfassen, Verarbeiten und Analysieren von Streamingdaten von Azure Event Hubs und ermöglicht damit Erkenntnisse für Aktionen in Echtzeit. Sie können im Azure-Portal eingehende Daten visualisieren und eine Stream Analytics-Abfrage schreiben. Wenn die Abfrage fertig ist, können Sie sie mit nur wenigen Klicks in die Produktion verschieben.
Hauptvorteile
Hier sind die wichtigsten Vorteile der Integration von Azure Event Hubs mit Azure Stream Analytics:
- Datenvorschau: Sie können eine Vorschau der eingehenden Daten von einem Event Hub im Azure-Portal anzeigen.
- Abfragetests: Sie können eine Transformationsabfrage vorbereiten und direkt im Azure-Portal testen. Informationen zur Syntax der Abfrage finden Sie in der Dokumentation zur Stream Analytics-Abfragesprache.
- Abfragebereitstellung in der Produktion: Sie können die Abfrage in der Produktion bereitstellen, indem Sie einen Azure Stream Analytics-Auftrag erstellen und starten.
Der vollständige Ablauf
Wichtig
Wenn Sie auf der Azure-Abonnementebene nicht Mitglied der Rollen Besitzer oder Mitwirkender sind, müssen Sie auf der Azure-Abonnementebene Mitglied der Rolle Stream Analytics Query Tester sein, um die Schritte in diesem Abschnitt erfolgreich durchzuführen. Mit dieser Rolle können Sie Testabfragen ausführen, ohne zuerst einen Stream Analytics-Auftrag zu erstellen. Anweisungen zum Zuweisen einer Rolle zu einem Benutzer finden Sie unter Zuweisen von AD-Rollen zu Benutzern.
Melden Sie sich beim Azure-Portal an.
Navigieren Sie zu Ihrem Event Hubs-Namespace und dann zu dem Event Hub mit den eingehenden Daten.
Wählen Sie auf der Event Hub-Seite Daten verarbeiten oder im Menü auf der linken Seite Daten verarbeiten aus.
Wählen Sie auf der Kachel Echtzeiterkenntnisse aus Ereignissen aktivieren die Option Start aus.
Daraufhin wird eine Abfrageseite mit Werten angezeigt, die bereits für die folgenden Felder festgelegt wurden:
Ihr Event Hub hat eine Eingabe für die Abfrage.
Ein Beispiel, das eine SQL-Abfrage mit SELECT-Anweisung ist.
Ein Alias für die Ausgabe ermöglicht das Verweisen auf Ihre Abfragetestergebnisse.
Hinweis
Wenn Sie dieses Feature zum ersten Mal verwenden, werden Sie auf dieser Seite nach Ihrer Berechtigung zum Erstellen einer Consumergruppe und einer Richtlinie für Ihren Event Hub gefragt, bevor Sie eine Vorschau der eingehende Daten anzeigen können.
Wählen Sie Erstellen im Bereich Eingabevorschau aus, wie in der vorherigen Abbildung gezeigt.
Es wird sofort eine Momentaufnahme der neuesten eingehenden Daten auf dieser Registerkarte angezeigt.
Der Serialisierungstyp in Ihren Daten wird automatisch erkannt (JSON/CSV). Sie können ihn manuell in JSON, CSV oder AVRO ändern.
Sie können eine Vorschau der eingehenden Daten im Tabellenformat oder unformatiert anzeigen.
Wenn die angezeigten Daten nicht aktuell sind, wählen Sie Aktualisieren aus, um die neuesten Ereignisse anzuzeigen.
Dies ist ein Beispiel für Daten im Tabellenformat:
Dies ist ein Beispiel für unformatierte Daten:
Wählen Sie Testabfrage, um die Momentaufnahme der Testergebnisse Ihrer Abfrage auf der Registerkarte Testergebnisse zu sehen. Sie können die Ergebnisse auch herunterladen.
Schreiben Sie eine eigene Abfrage zum Transformieren der Daten. Weitere Informationen finden Sie in der Referenz zur Stream Analytics-Abfragesprache.
Wenn Sie die Abfrage getestet haben und sie in die Produktion verschieben möchten, wählen Sie Stream Analytics-Auftrag erstellen aus.
Führen Sie auf der Seite Neuer Stream Analytics-Auftrag die folgenden Schritte aus:
Geben Sie einen Namen für den Auftrag an.
Wählen Sie Ihr Azure-Abonnement aus, in dem der Auftrag erstellt werden soll.
Wählen Sie die Ressourcengruppe für die Stream Analytics-Auftragsressource aus.
Wählen Sie den Speicherort für den Auftrag aus.
Erstellen Sie für den Namen der Event Hubs-Richtlinie eine neue Richtlinie, oder wählen Sie eine vorhandene Richtlinie aus.
Erstellen Sie für die Event Hubs-Consumergruppe eine neue Consumergruppe, oder wählen Sie eine vorhandene Consumergruppe aus.
Wählen Sie Erstellen aus, um den Stream Analytics-Auftrag zu erstellen.
Hinweis
Es wird empfohlen, dass Sie eine Consumergruppe und eine Richtlinie für jeden neuen Azure Stream Analytics-Auftrag erstellen, den Sie auf der Event Hubs-Seite erstellen. Consumergruppen erlauben nur fünf Leser gleichzeitig. Wenn Sie also für jeden Auftrag eine dedizierte Consumergruppe bereitstellen, vermeiden Sie mögliche Fehler durch das Überschreiten dieses Grenzwerts. Eine dedizierte Richtlinie ermöglicht das Rotieren Ihres Schlüssels oder das Widerrufen von Berechtigungen ohne Auswirkungen auf andere Ressourcen.
Ihr Stream Analytics-Auftrag wurde damit erstellt – die Abfrage ist identisch mit Ihrer getesteten, und die Eingabe ist Ihr Event Hub.
Fügen Sie eine Ausgabe Ihrer Wahl hinzu.
Navigieren Sie zurück zur Seite „Stream Analytics-Auftrag“, indem Sie auf den Namen des Auftrags im Breadcrumblink klicken.
Wählen Sie Abfrage bearbeiten über dem Abfragefenster aus.
Aktualisieren Sie
[OutputAlias]mit Ihrem Ausgabenamen, und wählen Sie den Link Abfrage speichern über der Abfrage aus. Schließen Sie die Abfrageseite, indem Sie in der oberen rechten Ecke X auswählen.Wählen Sie nun auf der Seite „Stream Analytics-Auftrag“ auf der Symbolleiste Starten aus, um den Auftrag zu starten.
Zugriff
Problem: Benutzer können nicht auf Vorschaudaten zugreifen, weil sie nicht über die richtigen Berechtigungen für das Abonnement verfügen.
Option 1: Der Benutzer, der eine Vorschau eingehender Daten anzeigen möchte, muss als Mitwirkender für das Abonnement hinzugefügt werden.
Option 2: Der Benutzer muss mit der Rolle „Stream Analytics-Abfragetester“ für das Abonnement hinzugefügt werden. Navigieren Sie zur Zugriffssteuerung für das Abonnement. Fügen Sie eine neue Rollenzuweisung für den Benutzer mit der Rolle „Stream Analytics-Abfragetester“ hinzu.
Option 3: Der Benutzer kann einen Azure Stream Analytics-Auftrag erstellen. Legen Sie als Eingabe diesen Event Hub fest, und navigieren Sie zu „Abfrage“, um eine Vorschau eingehender Daten aus diesem Event Hub anzuzeigen.
Option 4: Der Administrator kann eine benutzerdefinierte Rolle im Abonnement erstellen. Fügen Sie die folgenden Berechtigungen zur benutzerdefinierten Rolle und dann einen Benutzer zur neuen benutzerdefinierten Rolle hinzu.
Streamingeinheiten
Ihr Azure Stream Analytics-Auftrag nutzt standardmäßig drei Streamingeinheiten (SUs). Wählen Sie zum Anpassen dieser Einstellung im linken Menü auf der Seite des Stream Analytics-Auftrags im Azure-Portal Skalieren aus. Weitere Informationen zu Streamingeinheiten finden Sie unter Verstehen und Anpassen von Streamingeinheiten.
Nächste Schritte
Erfahren Sie mehr über Stream Analytics-Abfragen unter Stream Analytics-Abfragesprache.