Erstellen einer Event Hubs-Datenverbindung für Azure Data Explorer

Artikel
05/03/2023

Azure Data Explorer bietet Aufnahme von Event Hubs, einer Big Data Streaming-Plattform und einem Ereignisaufnahmedienst. Event Hubs kann Millionen von Ereignissen pro Sekunde nahezu in Echtzeit verarbeiten.

In diesem Artikel stellen Sie eine Verbindung mit einem Event Hub her und nehmen Daten in Azure Data Explorer ein. Eine Übersicht zum Aufnehmen von Event Hubs finden Sie unter Azure Event Hubs-Datenverbindung.

Voraussetzungen

Ein Azure-Abonnement. Erstellen Sie ein kostenloses Azure-Konto.
Schnellstart: Erstellen eines Azure Data Explorer-Clusters und einer Datenbank. Erstellen eines Clusters und einer Datenbank
Eine Zieltabelle. Erstellen einer Tabelle oder Verwenden einer vorhandenen Tabelle.
Eine Erfassungszuordnung für die Tabelle.
Ein Event Hub mit Daten für die Erfassung.

Erstellen einer Event Hub-Datenverbindung

In diesem Abschnitt richten Sie eine Verbindung zwischen dem Event Hub und Ihrer Azure Data Explorer-Tabelle ein. Solange diese Verbindung vorhanden ist, werden Daten vom Event Hub in Ihre Zieltabelle übertragen. Wenn der Event Hub in eine andere Ressource oder ein anderes Abonnement verschoben wird, müssen Sie die Verbindung aktualisieren oder neu erstellen.

Wechseln Sie im Azure-Portal zu Ihrem Cluster, und wählen Sie "Datenbanken" aus. Wählen Sie dann die Datenbank aus, die Ihre Zieltabelle enthält.
Wählen Sie im linken Menü "Datenaufnahme" aus. Wählen Sie dann in der oberen Leiste "Datenverbindung hinzufügen" aus.

Füllen Sie das Formular mit den folgenden Informationen aus, und wählen Sie dann Erstellen aus.

Einstellung	Empfohlener Wert	Feldbeschreibung
Name der Datenverbindung	test-hub-connection	Der Name der Verbindung, die Sie im Azure-Daten-Explorer erstellen möchten.
Abonnement		Die Abonnement-ID, unter der sich die Event Hub-Ressource befindet
Event Hub-Namespace	Ein eindeutiger Namespacename	Der von Ihnen zuvor ausgewählte Name, der Ihren Namespace identifiziert.
Event Hub	test-hub	Der von Ihnen erstellte Event Hub.
Consumergruppe	test-group	Die Consumergruppe, die in dem von Ihnen erstellten Event Hub definiert ist.
Ereignissystemeigenschaften	Auswählen relevanter Eigenschaften	Die Event Hub-Systemeigenschaften. Wenn pro Ereignisnachricht mehrere Datensätze vorhanden sind, werden die Systemeigenschaften dem ersten Datensatz hinzugefügt. Beim Hinzufügen von Systemeigenschaften erstellen oder aktualisieren Sie das Tabellenschema und die Zuordnung, um die ausgewählten Eigenschaften einzubeziehen.
Komprimierung	None	Der Komprimierungstyp der Event Hub-Nachrichtennutzlast. Unterstützte Komprimierungstypen: Ohne, GZip.
Verwaltete Identität (empfohlen)	Systemseitig zugewiesen	Die verwaltete Identität, die vom Data Explorer-Cluster für den Zugriff zum Lesen im Event Hub verwendet wird. Es wird empfohlen, verwaltete Identitäten zu verwenden, um den Zugriff auf Ihren Event Hub zu steuern. Hinweis: Wenn die Datenverbindung erstellt wird: * Systemseitig zugewiesene Identitäten werden automatisch erstellt, wenn sie nicht vorhanden sind. * Der verwalteten Identität wird automatisch die Rolle Azure Event Hubs-Datenempfänger zugewiesen, und sie wird Ihrem Data Explorer-Cluster hinzugefügt. Es wird empfohlen, zu überprüfen, ob die Rolle zugewiesen und die Identität dem Cluster hinzugefügt wurde.

Hinweis

Wenn Sie über eine vorhandene Datenverbindung verfügen, die keine verwalteten Identitäten verwendet, wird empfohlen, sie für die Verwendung verwalteter Identitäten zu aktualisieren.

Die folgenden Schritte führen Sie durch das Erstellen einer Event Hub-Verbindung über den Aufnahme-Assistenten in der Azure Data Explorer-Webbenutzeroberfläche.

Hinweis

Um den Assistenten zu verwenden, müssen Sie mindestens über Datenbankbenutzerberechtigungen verfügen.
Informationen zum Aktivieren des Zugriffs zwischen einem Cluster und einem Speicherkonto ohne öffentlichen Zugriff finden Sie unter Erstellen eines verwalteten privaten Endpunkts.
Der Cluster und der Event Hub sollten denselben Mandanten zugeordnet sein. Verwenden Sie andernfalls eine der SDK-Optionen, z. B. C# oder Python.

Wählen Sie auf der Registerkarte "Daten " der Azure Data Explorer-Webbenutzeroberfläche die Option "Aufnehmen " aus der Ereignishub-Karte aus.
Das Fenster "Daten aufnehmen" wird geöffnet, wobei die Registerkarte "Ziel " ausgewählt ist. Die Felder "Cluster " und "Datenbank " werden automatisch aufgefüllt. Sie können über die Dropdownmenüs einen anderen Cluster oder eine andere Datenbank auswählen.
Wählen Sie unter "Tabelle" die Option "Neue Tabelle " aus, und geben Sie einen Namen für die neue Tabelle ein. Alternativ können Sie auch eine vorhandene Tabelle verwenden.
Wählen Sie die Option Weiter: Quelle aus.
Wählen Sie unter Quelltyp die Option Event Hub aus.

Geben Sie unter "Datenverbindung" die folgenden Felder ein, und wählen Sie "Weiter: Schema" aus.

Einstellung	Empfohlener Wert	Feldbeschreibung
Abonnement		Die Abonnement-ID, unter der sich die Event Hub-Ressource befindet
Event Hub-Namespace		Der Name, der Ihren Namespace bezeichnet
Event Hub		Der zu verwendende Event Hub
Name der Datenverbindung	TestDataConnection	Der Name, der Ihre Datenverbindung bezeichnet
Consumergruppe		Die in Ihrem Event Hub definierte Consumergruppe
Komprimierung		Der Komprimierungstyp der Event Hub-Nachrichtennutzlast.
Ereignissystemeigenschaften	Auswählen relevanter Eigenschaften	Die Event Hub-Systemeigenschaften. Wenn pro Ereignisnachricht mehrere Datensätze vorhanden sind, werden die Systemeigenschaften dem ersten Datensatz hinzugefügt. Beim Hinzufügen von Systemeigenschaften erstellen oder aktualisieren Sie das Tabellenschema und die Zuordnung, um die ausgewählten Eigenschaften einzubeziehen.
Startdatum des Ereignisabrufs	Koordinierte Weltzeit (UTC)	Die Datenverbindung ruft vorhandene Event Hubs-Ereignisse ab, die nach dem Startdatum des Ereignisabrufs erstellt wurden. Es können nur Ereignisse abgerufen werden, die vom Aufbewahrungszeitraum von Event Hubs aufbewahrt werden. Wenn das Startdatum des Ereignisabrufs nicht angegeben ist, ist die Standardzeit die Uhrzeit, zu der die Datenverbindung erstellt wird.

Legen Sie die Aufnahmerichtlinie fest. Wenn Streaming für den Cluster aktiviert ist, können Sie "Streaming-Aufnahme" auswählen. Wenn das Streaming für den Cluster nicht aktiviert ist, legen Sie die Batchverarbeitungszeit fest. Bei Event Hubs beträgt die empfohlene Batchverarbeitungszeit 30 Sekunden.
Wählen Sie das Datenformat aus. Ignorieren Sie für CSV-formatierte Daten den ersten Datensatz, um die Überschriftenzeile der Datei zu ignorieren. Wählen Sie für JSON-formatierte Daten die Option "Datenformatfehler ignorieren" aus, um die Daten im JSON-Format aufzunehmen oder nicht ausgewählt zu lassen, um die Daten im Multijson-Format aufzunehmen. Wählen Sie die geschachtelten Ebenen aus, um die Tabellenspaltendatenteilung zu bestimmen.
Sind die im Vorschaufenster angezeigten Daten nicht vollständig, benötigen Sie möglicherweise mehr Daten, um eine Tabelle mit allen erforderlichen Datenfeldern zu erstellen. Verwenden Sie die folgenden Befehle, um neue Daten aus Ihrem Event Hub abzurufen:
- Verwerfen und neue Daten abrufen: Die dargestellten Daten werden verworfen, und es wird nach neuen Ereignissen gesucht.
- Fetch more data (Weitere Daten abrufen): Zusätzlich zu den bereits gefundenen Ereignissen wird nach weiteren Ereignissen gesucht.
Hinweis

Damit Sie eine Vorschau Ihrer Daten anzeigen können, muss Ihr Event Hub Ereignisse senden.
Wählen Sie Weiter: Zusammenfassung aus.
Im eingerichteten Ereignishubfenster werden alle Schritte mit grünen Häkchen gekennzeichnet, wenn die Einrichtung erfolgreich abgeschlossen ist.

Installieren Sie das NuGet-Paket Microsoft.Azure.Management.Kusto.
Erstellen Sie einen Azure AD-Anwendungsprinzipal , der für die Authentifizierung verwendet werden soll. Sie benötigen die Verzeichnis-ID (Mandanten-ID), die Anwendungs-ID und den geheimen Clientschlüssel.

Führen Sie den folgenden Code aus.

var tenantId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Directory (tenant) ID
var clientId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Application ID
var clientSecret = "PlaceholderClientSecret"; //Client Secret
var subscriptionId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx";
var authClient = ConfidentialClientApplicationBuilder.Create(clientId)
    .WithAuthority($"https://login.microsoftonline.com/{tenantId}")
    .WithClientSecret(clientSecret)
    .Build();
var result = authClient.AcquireTokenForClient(new[] { "https://management.core.windows.net/" }).ExecuteAsync().Result;
var credentials = new TokenCredentials(result.AccessToken, result.TokenType);
var kustoManagementClient = new KustoManagementClient(credentials) { SubscriptionId = subscriptionId };
var resourceGroupName = "testrg";
//The cluster and database that are created as part of the Prerequisites
var clusterName = "mykustocluster";
var databaseName = "mykustodatabase";
var eventHubConnectionName = "myeventhubconnect";
//The event hub that is created as part of the Prerequisites
var eventHubResourceId = "/subscriptions/<eventHubSubscriptionId>/resourceGroups/<eventHubResourceGroupName>/providers/Microsoft.EventHub/namespaces/<eventHubNamespaceName>/eventhubs/<eventHubName>";
var consumerGroup = "$Default";
var location = "Central US";
//The table and column mapping are created as part of the Prerequisites
var tableName = "StormEvents";
var mappingRuleName = "StormEvents_CSV_Mapping";
var dataFormat = EventHubDataFormat.CSV;
var compression = "None";
var databaseRouting = "Multi";
var eventHubConnectionData = new EventHubDataConnection(
    eventHubResourceId, consumerGroup,
    location: location, tableName: tableName, mappingRuleName: mappingRuleName,
    dataFormat: dataFormat, compression: compression, databaseRouting: databaseRouting
);
await kustoManagementClient.DataConnections.CreateOrUpdateAsync(resourceGroupName, clusterName, databaseName, eventHubConnectionName, eventHubConnectionData);

Einstellung	Empfohlener Wert	Feldbeschreibung
tenantId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Ihre Mandanten-ID. Wird auch als Verzeichnis-ID bezeichnet.
subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Die Abonnement-ID, die Sie für die Ressourcenerstellung verwenden.
clientId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Die Client-ID der Anwendung, die auf Ressourcen in Ihrem Mandanten zugreifen kann.
clientSecret	PlaceholderClientSecret	Das Clientgeheimnis der Anwendung, die auf Ressourcen in Ihrem Mandanten zugreifen kann.
resourceGroupName	testrg	Der Name der Ressourcengruppe, die Ihren Cluster enthält.
clusterName	mykustocluster	Der Name Ihres Clusters.
databaseName	mykustodatabase	Der Name der Zieldatenbank in Ihrem Cluster.
eventHubConnectionName	myeventhubconnect	Der gewünschte Name Ihrer Datenverbindung.
tableName	StormEvents	Der Name der Zieltabelle in der Zieldatenbank.
mappingRuleName	StormEvents_CSV_Mapping	Der Name der Spaltenzuordnung, die mit der Zieltabelle verknüpft ist.
dataFormat	csv	Das Datenformat der Nachricht.
eventHubResourceId	Ressourcen-ID	Die Ressourcen-ID Ihres Event Hubs mit den Daten für die Erfassung
consumerGroup	$Default	Die Consumergruppe Ihres Event Hubs.
location	USA, Mitte	Der Speicherort der Datenverbindungsressource.
compression	Gzip oder Keine	Der Typ der Datenkomprimierung
databaseRouting	Multi oder Single	Das Datenbankrouting für die Verbindung. Wenn Sie den Wert auf Single festlegen, wird die Datenverbindung wie in der Einstellung databaseName angegeben an eine einzelne Datenbank im Cluster geroutet. Wenn Sie den Wert auf Multi festlegen, können Sie die Standardzieldatenbank mithilfe der Erfassungseigenschaft Database überschreiben. Weitere Informationen finden Sie unter Ereignisrouting.

Installieren Sie die erforderlichen Bibliotheken.

pip install azure-common
pip install azure-mgmt-kusto

Erstellen Sie einen Azure AD-Anwendungsprinzipal , der für die Authentifizierung verwendet werden soll. Sie benötigen die Verzeichnis-ID (Mandanten-ID), die Anwendungs-ID und den geheimen Clientschlüssel.

Führen Sie den folgenden Code aus.

from azure.mgmt.kusto import KustoManagementClient
from azure.mgmt.kusto.models import EventHubDataConnection
from azure.identity import ClientSecretCredential

#Directory (tenant) ID
tenant_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
#Application ID
client_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
#Client Secret
client_secret = "xxxxxxxxxxxxxx"
subscription_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
credentials = ServicePrincipalCredentials(
        client_id=client_id,
        secret=client_secret,
        tenant=tenant_id
    )
kusto_management_client = KustoManagementClient(credentials, subscription_id)

resource_group_name = "myresourcegroup"
#The cluster and database that are created as part of the Prerequisites
cluster_name = "mycluster"
database_name = "mydatabase"
data_connection_name = "myeventhubconnect"
#The event hub that is created as part of the Prerequisites
event_hub_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/myresourcegroup/providers/Microsoft.EventHub/namespaces/myeventhubnamespace/eventhubs/myeventhub"";
consumer_group = "$Default"
location = "Central US"
#The table and column mapping that are created as part of the Prerequisites
table_name = "mytable"
mapping_rule_name = "mytablemappingrule"
data_format = "csv"
database_routing = "Multi"
#Returns an instance of LROPoller, check https://learn.microsoft.com/python/api/msrest/msrest.polling.lropoller?view=azure-python
poller = kusto_management_client.data_connections.create_or_update(
            resource_group_name=resource_group_name,
            cluster_name=cluster_name,
            database_name=database_name,
            data_connection_name=data_connection_name,
            parameters=EventHubDataConnection(
                event_hub_resource_id=event_hub_resource_id,
                consumer_group=consumer_group,
                location=location,
                table_name=table_name,
                mapping_rule_name=mapping_rule_name,
                data_format=data_format,
                database_routing=database_routing
            )
        )
poller.wait()
print(poller.result())

Einstellung	Empfohlener Wert	Feldbeschreibung
tenant_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Ihre Mandanten-ID. Wird auch als Verzeichnis-ID bezeichnet.
subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Die Abonnement-ID, die Sie für die Ressourcenerstellung verwenden.
client_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Die Client-ID der Anwendung, die auf Ressourcen in Ihrem Mandanten zugreifen kann.
client_secret	xxxxxxxxxxxxxx	Das Clientgeheimnis der Anwendung, die auf Ressourcen in Ihrem Mandanten zugreifen kann.
resource_group_name	myresourcegroup	Der Name der Ressourcengruppe, die Ihren Cluster enthält.
cluster_name	mycluster	Der Name Ihres Clusters.
database_name	mydatabase	Der Name der Zieldatenbank in Ihrem Cluster.
data_connection_name	myeventhubconnect	Der gewünschte Name Ihrer Datenverbindung.
table_name	mytable	Der Name der Zieltabelle in der Zieldatenbank.
mapping_rule_name	mytablemappingrule	Der Name der Spaltenzuordnung, die mit der Zieltabelle verknüpft ist.
data_format	csv	Das Datenformat der Nachricht.
event_hub_resource_id	Ressourcen-ID	Die Ressourcen-ID Ihres Event Hubs mit den Daten für die Erfassung
consumer_group	$Default	Die Consumergruppe Ihres Event Hubs.
location	USA, Mitte	Der Speicherort der Datenverbindungsressource.
databaseRouting	Multi oder Single	Das Datenbankrouting für die Verbindung. Wenn Sie den Wert auf Single festlegen, wird die Datenverbindung wie in der Einstellung databaseName angegeben an eine einzelne Datenbank im Cluster geroutet. Wenn Sie den Wert auf Multi festlegen, können Sie die Standardzieldatenbank mithilfe der Erfassungseigenschaft Database überschreiben. Weitere Informationen finden Sie unter Ereignisrouting.

Das folgende Beispiel zeigt eine Azure Resource Manager-Vorlage für das Hinzufügen einer Event Hubs-Datenverbindung. Sie können die Vorlage im Azure-Portal mithilfe des Formulars bearbeiten und bereitstellen.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Entfernen einer Event Hub-Datenverbindung

Gehen Sie wie folgt vor, um die Event Hub-Verbindung aus dem Azure-Portal zu entfernen:

Zum Custer wechseln Wählen Sie im linken Menü "Datenbanken" aus. Wählen Sie dann die Datenbank aus, die die Zieltabelle enthält.
Wählen Sie im linken Menü "Datenverbindungen" aus. Aktivieren Sie dann das Kontrollkästchen neben der relevanten Event Hub-Datenverbindung.
Wählen Sie in der oberen Menüleiste "Löschen" aus.

Führen Sie den folgenden Befehl aus, um die Event Hub-Verbindung zu entfernen:

kustoManagementClient.DataConnections.Delete(resourceGroupName, clusterName, databaseName, dataConnectionName);

Führen Sie den folgenden Befehl aus, um die Event Hub-Verbindung zu entfernen:

kusto_management_client.data_connections.delete(resource_group_name=resource_group_name, cluster_name=kusto_cluster_name, database_name=kusto_database_name, data_connection_name=kusto_data_connection_name)

Nächste Schritte

Abfragen von Daten in Azure Data Explorer

Freigeben über

Erstellen einer Event Hubs-Datenverbindung für Azure Data Explorer

Voraussetzungen

Erstellen einer Event Hub-Datenverbindung

Entfernen einer Event Hub-Datenverbindung

Nächste Schritte

Zusätzliche Ressourcen