Erstellen einer Event Hubs-Datenverbindung für Azure Data Explorer
Azure Data Explorer bietet die Erfassung von Event Hubs, einer Big Data-Streamingplattform und einem Ereigniserfassungsdienst. Event Hubs kann Millionen von Ereignissen pro Sekunde nahezu in Echtzeit verarbeiten.
In diesem Artikel stellen Sie eine Verbindung mit einem Event Hub her und erfassen Daten in Azure Data Explorer. Eine Übersicht über die Erfassung von Event Hubs finden Sie unter Azure Event Hubs Datenverbindung.
Informationen zum Erstellen der Verbindung mithilfe der Kusto-SDKs finden Sie unter Erstellen einer Event Hubs-Datenverbindung mit SDKs.
Codebeispiele, die auf früheren SDK-Versionen basieren, finden Sie im archivierten Artikel.
Erstellen einer Event Hub-Datenverbindung
In diesem Abschnitt stellen Sie eine Verbindung zwischen dem Event Hub und Ihrer Azure Data Explorer-Tabelle her. Solange diese Verbindung besteht, werden Daten vom Event Hub in Ihre Zieltabelle übertragen. Wenn der Event Hub in eine andere Ressource oder ein anderes Abonnement verschoben wird, müssen Sie die Verbindung aktualisieren oder neu erstellen.
Voraussetzungen
- Ein Microsoft-Konto oder eine Microsoft Entra Benutzeridentität. Ein Azure-Abonnement ist nicht erforderlich.
- Schnellstart: Erstellen eines Azure Data Explorer-Clusters und einer Datenbank. Erstellen eines Clusters und einer Datenbank
- Die Streamingerfassung muss in Ihrem Azure Data Explorer-Cluster konfiguriert werden.
Abrufen von Daten
Wählen Sie im Menü auf der linken Seite Abfrage aus.
Klicken Sie mit der rechten Maustaste auf die Datenbank, in der Sie die Daten erfassen möchten. Wählen Sie Daten abrufen aus.
Quelle
Im Fenster Daten abrufen ist die Registerkarte Quelle ausgewählt.
Wählen Sie die Datenquelle aus der liste verfügbar aus. In diesem Beispiel erfassen Sie Daten aus Event Hubs.
Konfigurieren
Wählen Sie eine Zieldatenbank und -tabelle aus. Wenn Sie Daten in einer neuen Tabelle erfassen möchten, wählen Sie + Neue Tabelle aus, und geben Sie einen Tabellennamen ein.
Hinweis
Tabellennamen können bis zu 1024 Zeichen umfassen, einschließlich Leerzeichen, alphanumerisch, Bindestrichen und Unterstrichen. Sonderzeichen werden nicht unterstützt.
Füllen Sie die folgenden Felder aus:
Einstellung Feldbeschreibung Subscription Die Abonnement-ID, unter der sich die Event Hub-Ressource befindet Event Hub-Namespace Der Name, der Ihren Namespace bezeichnet Event Hub Der Event Hub, den Sie möchten Consumergruppe Die in Ihrem Ereignis definierte Consumergruppe Name der Datenverbindung Der Name, der Ihre Datenverbindung bezeichnet Erweiterte Filter Komprimierung Der Komprimierungstyp der Event Hub-Nachrichtennutzlast. Ereignissystemeigenschaften Die Event Hub-Systemeigenschaften. Wenn pro Ereignisnachricht mehrere Datensätze vorhanden sind, werden die Systemeigenschaften dem ersten Datensatz hinzugefügt. Beim Hinzufügen von Systemeigenschaften erstellen oder aktualisieren Sie das Tabellenschema und die Zuordnung, um die ausgewählten Eigenschaften einzubeziehen. Startdatum des Ereignisabrufs Die Datenverbindung ruft vorhandene Event Hubs-Ereignisse ab, die nach dem Startdatum des Ereignisabrufs erstellt wurden. Nur Ereignisse, die vom Aufbewahrungszeitraum von Event Hubs beibehalten werden, können abgerufen werden. Wenn das Startdatum des Ereignisabrufs nicht angegeben ist, ist die Standardzeit der Zeitpunkt, zu dem die Datenverbindung erstellt wird. Wählen Sie Weiter aus.
Überprüfen
Die Registerkarte Überprüfen wird mit einer Vorschau der Daten geöffnet.
Um den Erfassungsprozess abzuschließen, wählen Sie Fertig stellen aus.
Optional:
Wenn die im Vorschaufenster angezeigten Daten nicht vollständig sind, benötigen Sie möglicherweise mehr Daten, um eine Tabelle mit allen erforderlichen Datenfeldern zu erstellen. Verwenden Sie die folgenden Befehle, um neue Daten aus Ihrem Event Hub abzurufen:
Verwerfen und abrufen neuer Daten: Verwirft die angezeigten Daten und sucht nach neuen Ereignissen.
Fetch more data (Weitere Daten abrufen): Zusätzlich zu den bereits gefundenen Ereignissen wird nach weiteren Ereignissen gesucht.
Hinweis
Damit Sie eine Vorschau Ihrer Daten anzeigen können, muss Ihr Event Hub Ereignisse senden.
Wählen Sie Befehlsanzeige aus , um die automatischen Befehle anzuzeigen und zu kopieren, die aus Ihren Eingaben generiert werden.
Verwenden Sie die Dropdownliste Schemadefinitionsdatei , um die Datei zu ändern, aus der das Schema abgeleitet wird.
Ändern Sie das automatisch abgeleitete Datenformat, indem Sie das gewünschte Format aus der Dropdownliste auswählen. Informationen zur Erfassung finden Sie unter Von Azure Data Explorer unterstützte Datenformate.
Erkunden Sie erweiterte Optionen basierend auf dem Datentyp.
Spalten bearbeiten
Hinweis
- Bei tabellenbasierten Formaten (CSV, TSV, PSV) können Sie eine Spalte nicht zweimal zuordnen. Löschen Sie bei einer Zuordnung zu einer vorhandenen Spalte zunächst die neue Spalte.
- Der Typ einer vorhandenen Spalte kann nicht geändert werden. Wenn Sie als Zuordnungsziel eine Spalte mit einem anderen Format verwenden, erhalten Sie ggf. leere Spalten.
Die Änderungen, die Sie an einer Tabelle vornehmen können, hängen von den folgenden Parametern ab:
- Die Tabelle ist neu oder vorhanden.
- Die Zuordnung ist neu oder vorhanden.
Tabellentyp | Zuordnungstyp | Verfügbare Anpassungen |
---|---|---|
Neue Tabelle | Neue Zuordnung | Spalte umbenennen, Datentyp ändern, Datenquelle ändern, Zuordnungstransformation, Spalte hinzufügen, Spalte löschen |
Vorhandene Tabelle | Neue Zuordnung | Hinzufügen einer Spalte (für die Sie dann den Datentyp ändern, umbenennen und aktualisieren können) |
Vorhandene Tabelle | Vorhandene Zuordnung | Keine |
Zuordnungstransformationen
Einige der Datenformatzuordnungen (Parquet, JSON und Avro) unterstützen einfache Transformationen während der Erfassung. Um Zuordnungstransformationen anzuwenden, erstellen oder aktualisieren Sie eine Spalte im Fenster Spalten bearbeiten .
Zuordnungstransformationen können für eine Spalte vom Typ string oder datetime ausgeführt werden, wobei die Quelle den Datentyp "int" oder "long" aufweist. Die folgenden Zuordnungstransformationen werden unterstützt:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
Erweiterte Optionen basierend auf dem Datentyp
Tabellarisch (CSV, TSV, PSV):
Wenn Sie tabellarische Formate in einer vorhandenen Tabelle erfassen, können Sie Erweitertes>Tabellenschema beibehalten auswählen. Tabellendaten enthalten nicht unbedingt die Spaltennamen, die verwendet werden, um Quelldaten den vorhandenen Spalten zuzuordnen. Wenn diese Option aktiviert ist, erfolgt die Zuordnung nach Reihenfolge, und das Tabellenschema bleibt unverändert. Wenn diese Option deaktiviert ist, werden unabhängig von der Datenstruktur neue Spalten für eingehende Daten erstellt.
Um die erste Zeile als Spaltennamen zu verwenden, wählen Sie Erweiterte>erste Zeile ist Spaltenüberschrift aus.
JSON:
Um die Spaltenteilung von JSON-Daten zu bestimmen, wählen Sie Erweiterte>geschachtelte Ebenen von 1 bis 100 aus.
Wenn Sie Erweiterte>Datenformatfehler ignorieren auswählen, werden die Daten im JSON-Format erfasst. Wenn Sie das Kontrollkästchen nicht aktivieren, werden die Daten im MultiJSON-Format erfasst.
Zusammenfassung
Im Fenster Datenaufbereitung sind alle drei Schritte mit grünen Häkchen gekennzeichnet, wenn die Datenerfassung erfolgreich abgeschlossen wurde. Sie können die Befehle anzeigen, die für jeden Schritt verwendet wurden, oder einen Karte auswählen, um die erfassten Daten abzufragen, zu visualisieren oder zu löschen.
Entfernen einer Event Hub-Datenverbindung
Entfernen Sie die Datenverbindung über die Azure-Portal, wie auf der Registerkarte Portal erläutert.
Verwandte Inhalte
- Überprüfen der Verbindung mit der Event Hub-Beispielnachrichten-App
- Abfragen von Daten auf der Web-Benutzeroberfläche