Een Event Hubs-gegevensverbinding maken voor Azure Data Explorer

Artikel
05/03/2023

Azure Data Explorer biedt opname van Event Hubs, een streamingplatform voor big data en een service voor gebeurtenisopname. Event Hubs kan miljoenen gebeurtenissen per seconde in bijna realtime verwerken.

In dit artikel maakt u verbinding met een Event Hub en neemt u gegevens op in Azure Data Explorer. Zie Azure Event Hubs-gegevensverbinding voor een overzicht van opname vanuit Event Hubs.

Vereisten

Een Azure-abonnement. Maak een gratis Azure-account.
Een Azure Data Explorer-cluster en -database. Maak een cluster en database.
Een doeltabel. Maak een tabel of gebruik een bestaande tabel.
Een opnametoewijzing voor de tabel.
Een Event Hub met gegevens voor opname.

Een Event Hub-gegevensverbinding maken

In deze sectie brengt u een verbinding tot stand tussen de Event Hub en uw Azure Data Explorer-tabel. Zolang deze verbinding is ingesteld, worden gegevens van de Event Hub naar uw doeltabel verzonden. Als de Event Hub wordt verplaatst naar een andere resource of een ander abonnement, moet u de verbinding bijwerken of opnieuw maken.

Ga in Azure Portal naar uw cluster en selecteer Databases. Selecteer vervolgens de database die de doeltabel bevat.
Selecteer gegevensopname in het linkermenu. Selecteer vervolgens in de bovenste balk gegevensverbinding toevoegen.

Vul het formulier in met de volgende gegevens en selecteer Vervolgens Maken.

Instelling	Voorgestelde waarde	Veldomschrijving
Naam van gegevensverbinding	test-hub-connection	De naam van de verbinding die u wilt maken in Azure Data Explorer.
Abonnement		De abonnements-id waar de Event Hub-resource zich bevindt.
Event hub-naamruimte	Een unieke naam voor de naamruimte	De naam die u eerder hebt gekozen om de naamruimte te identificeren.
Event Hub	test-hub	De Event Hub die u hebt gemaakt.
Consumentengroep	test-group	De consumentengroep die u hebt gedefinieerd in de gemaakte Event Hub.
Eigenschappen van gebeurtenissysteem	Relevante eigenschappen selecteren	De eigenschappen van het Event Hub-systeem. Als er meerdere records per gebeurtenisbericht zijn, worden de systeemeigenschappen toegevoegd aan de eerste record. Wanneer u systeemeigenschappen toevoegt, maakt of werkt u een tabelschema en toewijzing toe om de geselecteerde eigenschappen op te nemen.
Compressie	Geen	Het compressietype van de nettolading van event hub-berichten. Ondersteunde compressietypen: Geen, Gzip.
Beheerde identiteit (aanbevolen)	Door het systeem toegewezen	De beheerde identiteit die door het Data Explorer-cluster wordt gebruikt voor toegang tot lezen vanuit de Event Hub. U wordt aangeraden beheerde identiteiten te gebruiken om de toegang tot uw Event Hub te beheren. Opmerking: Wanneer de gegevensverbinding wordt gemaakt: * Door het systeem toegewezen identiteiten worden automatisch gemaakt als ze niet bestaan * De beheerde identiteit wordt automatisch toegewezen aan de rol Azure Event Hubs-gegevensontvanger en wordt toegevoegd aan uw Data Explorer-cluster. U wordt aangeraden te controleren of de rol is toegewezen en of de identiteit is toegevoegd aan het cluster.

Notitie

Als u een bestaande gegevensverbinding hebt die geen beheerde identiteiten gebruikt, raden we u aan deze bij te werken voor het gebruik van beheerde identiteiten.

De volgende stappen helpen u bij het maken van een Event Hub-verbinding via de opnamewizard in de webgebruikersinterface van Azure Data Explorer.

Notitie

Als u de wizard wilt gebruiken, moet u ten minste machtigingen voor databasegebruikers hebben.
Als u toegang wilt inschakelen tussen een cluster en een opslagaccount zonder openbare toegang, raadpleegt u Een beheerd privé-eindpunt maken.
Het cluster en de Event Hub moeten worden gekoppeld aan dezelfde tenants. Als dat niet het is, gebruikt u een van de SDK-opties, zoals C# of Python.

Selecteer Op het tabblad Gegevens van de webgebruikersinterface van Azure Data Explorer de optie Opnemen in de gegevensopname van de Event Hub-kaart .
Het venster Gegevens opnemen wordt geopend met het tabblad Doel geselecteerd. De velden Cluster en Database worden automatisch ingevuld. U kunt een ander cluster of een andere database selecteren in de vervolgkeuzelijsten.
Selecteer Onder Tabel de optie Nieuwe tabel en voer een naam in voor de nieuwe tabel. U kunt ook een bestaande tabel gebruiken.
Selecteer Volgende: Bron.
Selecteer Event Hub onder Brontype.

Vul onder Gegevensverbinding de volgende velden in en selecteer Volgende: Schema.

Instelling	Voorgestelde waarde	Veldomschrijving
Abonnement		De abonnements-id waar de Event Hub-resource zich bevindt.
Event hub-naamruimte		De naam die uw naamruimte identificeert.
Event Hub		De Event Hub die u wilt gebruiken.
Naam van gegevensverbinding	TestDataConnection	De naam waarmee uw gegevensverbinding wordt geïdentificeerd.
Consumentengroep		De consumentengroep die is gedefinieerd in uw Event Hub.
Compressie		Het compressietype van de nettolading van event hub-berichten.
Eigenschappen van gebeurtenissysteem	Relevante eigenschappen selecteren	De eigenschappen van het Event Hub-systeem. Als er meerdere records per gebeurtenisbericht zijn, worden de systeemeigenschappen toegevoegd aan de eerste record. Wanneer u systeemeigenschappen toevoegt, maakt of werkt u een tabelschema en toewijzing toe om de geselecteerde eigenschappen op te nemen.
Begindatum voor het ophalen van gebeurtenissen	Coordinated Universal Time (UTC)	De gegevensverbinding haalt bestaande Event Hubs-gebeurtenissen op die zijn gemaakt na de begindatum van het ophalen van gebeurtenissen. Alleen gebeurtenissen die worden bewaard door de bewaarperiode van Event Hubs, kunnen worden opgehaald. Als de begindatum van het ophalen van gebeurtenissen niet is opgegeven, is de standaardtijd het tijdstip waarop de gegevensverbinding wordt gemaakt.

Stel het opnamebeleid in. Als streaming is ingeschakeld voor het cluster, kunt u streamingopname selecteren. Als streaming niet is ingeschakeld voor het cluster, stelt u de Batching-tijd in. Voor Event Hubs is de aanbevolen batchtijd 30 seconden.
Selecteer de gegevensindeling. Voor csv-opgemaakte gegevens negeert u de eerste record om de koprij van het bestand te negeren. Voor JSON-opgemaakte gegevens selecteert u Fouten in gegevensindeling negeren om de gegevens op te nemen in JSON-indeling of laat u niet geselecteerd om de gegevens op te nemen in multijson-indeling. Selecteer de geneste niveaus om de gegevensverdeling van de tabelkolom te bepalen.
Als de gegevens die u in het voorbeeldvenster ziet niet zijn voltooid, hebt u mogelijk meer gegevens nodig om een tabel te maken met alle benodigde gegevensvelden. Gebruik de volgende opdrachten om nieuwe gegevens op te halen uit uw Event Hub:
- Nieuwe gegevens verwijderen en ophalen: verwijdert de gegevens die worden weergegeven en zoekt naar nieuwe gebeurtenissen.
- Meer gegevens ophalen: zoekt naar meer gebeurtenissen naast de al gevonden gebeurtenissen.
Notitie

Als u een voorbeeld van uw gegevens wilt zien, moet uw Event Hub gebeurtenissen verzenden.
Selecteer Volgende: Samenvatting.
In het tot stand gebrachte venster Continue opname van Event Hub worden alle stappen gemarkeerd met groene vinkjes wanneer de instelling is voltooid.

Installeer het Microsoft.Azure.Management.Kusto NuGet-pakket.
Maak een Azure AD-toepassingsprincipaal die moet worden gebruikt voor verificatie. U hebt de map-id (tenant), de toepassings-id en het clientgeheim nodig.

Voer de volgende code uit.

var tenantId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Directory (tenant) ID
var clientId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Application ID
var clientSecret = "PlaceholderClientSecret"; //Client Secret
var subscriptionId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx";
var authClient = ConfidentialClientApplicationBuilder.Create(clientId)
    .WithAuthority($"https://login.microsoftonline.com/{tenantId}")
    .WithClientSecret(clientSecret)
    .Build();
var result = authClient.AcquireTokenForClient(new[] { "https://management.core.windows.net/" }).ExecuteAsync().Result;
var credentials = new TokenCredentials(result.AccessToken, result.TokenType);
var kustoManagementClient = new KustoManagementClient(credentials) { SubscriptionId = subscriptionId };
var resourceGroupName = "testrg";
//The cluster and database that are created as part of the Prerequisites
var clusterName = "mykustocluster";
var databaseName = "mykustodatabase";
var eventHubConnectionName = "myeventhubconnect";
//The event hub that is created as part of the Prerequisites
var eventHubResourceId = "/subscriptions/<eventHubSubscriptionId>/resourceGroups/<eventHubResourceGroupName>/providers/Microsoft.EventHub/namespaces/<eventHubNamespaceName>/eventhubs/<eventHubName>";
var consumerGroup = "$Default";
var location = "Central US";
//The table and column mapping are created as part of the Prerequisites
var tableName = "StormEvents";
var mappingRuleName = "StormEvents_CSV_Mapping";
var dataFormat = EventHubDataFormat.CSV;
var compression = "None";
var databaseRouting = "Multi";
var eventHubConnectionData = new EventHubDataConnection(
    eventHubResourceId, consumerGroup,
    location: location, tableName: tableName, mappingRuleName: mappingRuleName,
    dataFormat: dataFormat, compression: compression, databaseRouting: databaseRouting
);
await kustoManagementClient.DataConnections.CreateOrUpdateAsync(resourceGroupName, clusterName, databaseName, eventHubConnectionName, eventHubConnectionData);

Instelling	Voorgestelde waarde	Veldomschrijving
tenantId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxx-xxxxxxxxx	Uw tenant-id. Ook wel map-id genoemd.
subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxx-xxxxxxxxx	De abonnements-id die u gebruikt voor het maken van resources.
clientId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxx-xxxxxxxxx	De client-id van de toepassing die toegang heeft tot resources in uw tenant.
clientSecret	Tijdelijke aanduidingClientSecret	Het clientgeheim van de toepassing die toegang heeft tot resources in uw tenant.
resourceGroupName	testrg	De naam van de resourcegroep die uw cluster bevat.
clusterName	mykustocluster	De naam van het cluster.
databaseName	mykustodatabase	De naam van de doeldatabase in uw cluster.
eventHubConnectionName	myeventhubconnect	De gewenste naam van uw gegevensverbinding.
tableName	StormEvents	De naam van de doeltabel in de doeldatabase.
mappingRuleName	StormEvents_CSV_Mapping	De naam van de kolomtoewijzing die is gerelateerd aan de doeltabel.
dataFormat	CSV	De gegevensindeling van het bericht.
eventHubResourceId	Resource-id	De resource-id van uw Event Hub die de gegevens bevat voor opname.
consumerGroup	$Default	De consumentengroep van uw Event Hub.
locatie	US - centraal	De locatie van de gegevensverbindingsresource.
compressie	Gzip of Geen	Het type gegevenscompressie.
databaseRouting	Meerdere of enkele	De databaseroutering voor de verbinding. Als u de waarde instelt op Single, wordt de gegevensverbinding doorgestuurd naar één database in het cluster, zoals opgegeven in de instelling databaseName . Als u de waarde instelt op Multi, kunt u de standaarddoeldatabase overschrijven met behulp van de eigenschap Databaseopname. Zie Gebeurtenissenroutering voor meer informatie.

Installeer de vereiste bibliotheken.

pip install azure-common
pip install azure-mgmt-kusto

Maak een Azure AD-toepassingsprincipaal die moet worden gebruikt voor verificatie. U hebt de map-id (tenant), de toepassings-id en het clientgeheim nodig.

Voer de volgende code uit.

from azure.mgmt.kusto import KustoManagementClient
from azure.mgmt.kusto.models import EventHubDataConnection
from azure.identity import ClientSecretCredential

#Directory (tenant) ID
tenant_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
#Application ID
client_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
#Client Secret
client_secret = "xxxxxxxxxxxxxx"
subscription_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
credentials = ServicePrincipalCredentials(
        client_id=client_id,
        secret=client_secret,
        tenant=tenant_id
    )
kusto_management_client = KustoManagementClient(credentials, subscription_id)

resource_group_name = "myresourcegroup"
#The cluster and database that are created as part of the Prerequisites
cluster_name = "mycluster"
database_name = "mydatabase"
data_connection_name = "myeventhubconnect"
#The event hub that is created as part of the Prerequisites
event_hub_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/myresourcegroup/providers/Microsoft.EventHub/namespaces/myeventhubnamespace/eventhubs/myeventhub"";
consumer_group = "$Default"
location = "Central US"
#The table and column mapping that are created as part of the Prerequisites
table_name = "mytable"
mapping_rule_name = "mytablemappingrule"
data_format = "csv"
database_routing = "Multi"
#Returns an instance of LROPoller, check https://learn.microsoft.com/python/api/msrest/msrest.polling.lropoller?view=azure-python
poller = kusto_management_client.data_connections.create_or_update(
            resource_group_name=resource_group_name,
            cluster_name=cluster_name,
            database_name=database_name,
            data_connection_name=data_connection_name,
            parameters=EventHubDataConnection(
                event_hub_resource_id=event_hub_resource_id,
                consumer_group=consumer_group,
                location=location,
                table_name=table_name,
                mapping_rule_name=mapping_rule_name,
                data_format=data_format,
                database_routing=database_routing
            )
        )
poller.wait()
print(poller.result())

Instelling	Voorgestelde waarde	Veldomschrijving
tenant_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxx-xxxxxxxxx	Uw tenant-id. Ook wel map-id genoemd.
subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxx-xxxxxxxxx	De abonnements-id die u gebruikt voor het maken van resources.
client_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxx-xxxxxxxxx	De client-id van de toepassing die toegang heeft tot resources in uw tenant.
client_secret	xxxxxxxxxxxx	Het clientgeheim van de toepassing die toegang heeft tot resources in uw tenant.
resource_group_name	myresourcegroup	De naam van de resourcegroep die uw cluster bevat.
cluster_name	mycluster	De naam van het cluster.
database_name	mydatabase	De naam van de doeldatabase in uw cluster.
data_connection_name	myeventhubconnect	De gewenste naam van uw gegevensverbinding.
table_name	mytable	De naam van de doeltabel in de doeldatabase.
mapping_rule_name	mytablemappingrule	De naam van de kolomtoewijzing die is gerelateerd aan de doeltabel.
data_format	CSV	De gegevensindeling van het bericht.
event_hub_resource_id	Resource-id	De resource-id van uw Event Hub die de gegevens bevat voor opname.
consumer_group	$Default	De consumentengroep van uw Event Hub.
locatie	US - centraal	De locatie van de gegevensverbindingsresource.
databaseRouting	Meerdere of enkele	De databaseroutering voor de verbinding. Als u de waarde instelt op Single, wordt de gegevensverbinding doorgestuurd naar één database in het cluster, zoals opgegeven in de instelling databaseName . Als u de waarde instelt op Multi, kunt u de standaarddoeldatabase overschrijven met behulp van de eigenschap Databaseopname. Zie Gebeurtenissenroutering voor meer informatie.

In het volgende voorbeeld ziet u een Azure Resource Manager-sjabloon voor het toevoegen van een Event Hubs-gegevensverbinding. U kunt de sjabloon bewerken en implementeren in Azure Portal met behulp van het formulier.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Een Event Hub-gegevensverbinding verwijderen

Ga als volgt te werk om de Event Hub-verbinding uit Azure Portal te verwijderen:

Ga naar uw cluster. Selecteer Databases in het linkermenu. Selecteer vervolgens de database die de doeltabel bevat.
Selecteer Gegevensverbindingen in het linkermenu. Schakel vervolgens het selectievakje in naast de relevante Event Hub-gegevensverbinding.
Selecteer Verwijderen in de bovenste menubalk.

Voer de volgende opdracht uit om de Event Hub-verbinding te verwijderen:

kustoManagementClient.DataConnections.Delete(resourceGroupName, clusterName, databaseName, dataConnectionName);

Voer de volgende opdracht uit om de Event Hub-verbinding te verwijderen:

kusto_management_client.data_connections.delete(resource_group_name=resource_group_name, cluster_name=kusto_cluster_name, database_name=kusto_database_name, data_connection_name=kusto_data_connection_name)

Volgende stappen

Query's uitvoeren op gegevens in Azure Data Explorer

Delen via

Een Event Hubs-gegevensverbinding maken voor Azure Data Explorer

Vereisten

Een Event Hub-gegevensverbinding maken

Een Event Hub-gegevensverbinding verwijderen

Volgende stappen

Aanvullende resources