Skapa en Event Hubs-dataanslutning för Azure Data Explorer

Azure Data Explorer erbjuder inmatning från Event Hubs, en plattform för stordataströmning och händelseinmatningstjänst. Event Hubs kan bearbeta miljontals händelser per sekund nästan i realtid.

I den här artikeln ansluter du till en händelsehubb och matar in data i Azure Data Explorer. En översikt över hur du matar in från Event Hubs finns i Azure Event Hubs-dataanslutning.

Förutsättningar

• En Azure-prenumeration. Skapa ett kostnadsfritt Azure-konto.
• Ett Azure Data Explorer-kluster och en databas. Skapa ett kluster och en databas.
• En måltabell. Skapa en tabell eller använd en befintlig tabell.
• En inmatningsmappning för tabellen.
• En händelsehubb med data för inmatning.

Skapa en händelsehubbdataanslutning

I det här avsnittet upprättar du en anslutning mellan händelsehubben och Azure Data Explorer-tabellen. Så länge den här anslutningen är på plats överförs data från händelsehubben till måltabellen. Om händelsehubben flyttas till en annan resurs eller prenumeration måste du uppdatera eller återskapa anslutningen.

Portal

1. I Azure-portalen går du till klustret och väljer Databaser. Välj sedan den databas som innehåller måltabellen.

   

2. Välj Datainmatning på den vänstra menyn. Välj sedan Lägg till dataanslutning i det övre fältet.

3. Fyll i formuläret med följande information och välj sedan Skapa.

   Inställning	Föreslaget värde	Fältbeskrivning
   Namn på dataanslutning	test-hub-connection	Namnet på anslutningen som du vill skapa i Azure Data Explorer.
   Prenumeration		Prenumerations-ID:t där händelsehubbresursen finns.
   Namnrymd för händelsehubb	Ett unikt namnområdesnamn	Namnet som du valde tidigare, som identifierar ditt namnområde.
   Händelsehubb	test-hub	Händelsehubben som du skapade.
   Konsumentgrupp	test-group	Konsumentgruppen som definierades i hubben som du skapade.
   Egenskaper för händelsesystem	Välj relevanta egenskaper	Systemegenskaperna för händelsehubben. Om det finns flera poster per händelsemeddelande läggs systemegenskaperna till i den första posten. När du lägger till systemegenskaper skapar eller uppdaterar du tabellschema och mappning för att inkludera de valda egenskaperna.
   Komprimering	None	Komprimeringstypen för nyttolasten för händelsehubbens meddelanden. Komprimeringstyper som stöds: Ingen, Gzip.
   Hanterad identitet (rekommenderas)	Systemtilldelad	Den hanterade identitet som används av Data Explorer-klustret för åtkomst till läsning från händelsehubben. Vi rekommenderar att du använder hanterade identiteter för att styra åtkomsten till din händelsehubb. Obs! När dataanslutningen skapas: * Systemtilldelade identiteter skapas automatiskt om de inte finns * Den hanterade identiteten tilldelas automatiskt rollen Azure Event Hubs Data Receiver och läggs till i ditt Data Explorer-kluster. Vi rekommenderar att du kontrollerar att rollen har tilldelats och att identiteten har lagts till i klustret.

   Kommentar

   Om du har en befintlig dataanslutning som inte använder hanterade identiteter rekommenderar vi att du uppdaterar den för att använda hanterade identiteter.

Trollkarl

Följande steg vägleder dig genom att skapa en händelsehubbanslutning via inmatningsguiden i Azure Data Explorer-webbgränssnittet.

Kommentar

• Om du vill använda guiden måste du ha minst behörigheter för databasanvändare .
• Information om hur du aktiverar åtkomst mellan ett kluster och ett lagringskonto utan offentlig åtkomst finns i Skapa en hanterad privat slutpunkt.
• Klustret och händelsehubben ska associeras med samma klientorganisationer. Om inte använder du något av SDK-alternativen, till exempel C# eller Python.

1. På fliken Data i webbgränssnittet för Azure Data Explorer väljer du Mata in från kortet Mata in data från Event Hub.

   

2. Fönstret Mata in data öppnas med fliken Mål markerad. Fälten Kluster och Databas fylls i automatiskt. Du kan välja ett annat kluster eller en annan databas från de nedrullningsbara menyerna.

3. Under Tabell väljer du Ny tabell och anger ett namn för den nya tabellen. Du kan också använda en befintlig tabell.

4. Välj Nästa: Källa.

5. Under Källtyp väljer du Händelsehubb.

6. Under Dataanslutning fyller du i följande fält och väljer Nästa: Schema.

   Inställning	Föreslaget värde	Fältbeskrivning
   Prenumeration		Prenumerations-ID:t där händelsehubbresursen finns.
   Namnrymd för händelsehubb		Namnet som identifierar ditt namnområde.
   Händelsehubb		Den händelsehubb som du vill använda.
   Namn på dataanslutning	TestDataConnection	Namnet som identifierar din dataanslutning.
   Konsumentgrupp		Konsumentgruppen som definierats i händelsehubben.
   Komprimering		Komprimeringstypen för nyttolasten för händelsehubbens meddelanden.
   Egenskaper för händelsesystem	Välj relevanta egenskaper	Systemegenskaperna för händelsehubben. Om det finns flera poster per händelsemeddelande läggs systemegenskaperna till i den första. När du lägger till systemegenskaper skapar eller uppdaterar du tabellschema och mappning för att inkludera de valda egenskaperna.
   Startdatum för händelsehämtning	Samordnad universell tid (UTC)	Dataanslutningen hämtar befintliga Event Hubs-händelser som skapats efter händelsehämtningens startdatum. Endast händelser som behålls av Event Hubs kvarhållningsperiod kan hämtas. Om startdatumet för händelsehämtning inte har angetts är standardtiden den tidpunkt då dataanslutningen skapas.

7. Ange inmatningsprincipen. Om strömning är aktiverat för klustret kan du välja Strömmande inmatning. Om strömning inte är aktiverat för klustret anger du Batching-tid. För Event Hubs är den rekommenderade batchtiden 30 sekunder.

   

8. Välj dataformatet. För CSV-formaterade data ignorerar du den första posten om du vill ignorera rubrikraden i filen. För JSON-formaterade data väljer du Ignorera dataformatfel för att mata in data i JSON-format eller lämnar omarkerade för att mata in data i multijson-format. Välj kapslade nivåer för att fastställa tabellkolumnens datadivision.

9. Om de data som visas i förhandsgranskningsfönstret inte är fullständiga kan du behöva mer data för att skapa en tabell med alla nödvändiga datafält. Använd följande kommandon för att hämta nya data från din händelsehubb:

   • Ta bort och hämta nya data: tar bort de data som visas och söker efter nya händelser.
   • Hämta mer data: Söker efter fler händelser utöver de händelser som redan hittats.

   Kommentar

   Om du vill se en förhandsgranskning av dina data måste händelsehubben skicka händelser.

10. Välj Nästa: Sammanfattning.

11. I fönstret Kontinuerlig inmatning från händelsehubben markeras alla steg med gröna bockmarkeringar när etableringen har slutförts.

C#

1. Installera NuGet-paketet Microsoft.Azure.Management.Kusto.

2. Skapa ett Huvudnamn för Azure AD-programmet som ska användas för autentisering. Du behöver katalog-ID(klient)-ID, program-ID och klienthemlighet.

3. Kör följande kod.

   var tenantId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Directory (tenant) ID
   var clientId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Application ID
   var clientSecret = "PlaceholderClientSecret"; //Client Secret
   var subscriptionId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx";
   var authClient = ConfidentialClientApplicationBuilder.Create(clientId)
       .WithAuthority($"https://login.microsoftonline.com/{tenantId}")
       .WithClientSecret(clientSecret)
       .Build();
   var result = authClient.AcquireTokenForClient(new[] { "https://management.core.windows.net/" }).ExecuteAsync().Result;
   var credentials = new TokenCredentials(result.AccessToken, result.TokenType);
   var kustoManagementClient = new KustoManagementClient(credentials) { SubscriptionId = subscriptionId };
   var resourceGroupName = "testrg";
   //The cluster and database that are created as part of the Prerequisites
   var clusterName = "mykustocluster";
   var databaseName = "mykustodatabase";
   var eventHubConnectionName = "myeventhubconnect";
   //The event hub that is created as part of the Prerequisites
   var eventHubResourceId = "/subscriptions/<eventHubSubscriptionId>/resourceGroups/<eventHubResourceGroupName>/providers/Microsoft.EventHub/namespaces/<eventHubNamespaceName>/eventhubs/<eventHubName>";
   var consumerGroup = "$Default";
   var location = "Central US";
   //The table and column mapping are created as part of the Prerequisites
   var tableName = "StormEvents";
   var mappingRuleName = "StormEvents_CSV_Mapping";
   var dataFormat = EventHubDataFormat.CSV;
   var compression = "None";
   var databaseRouting = "Multi";
   var eventHubConnectionData = new EventHubDataConnection(
       eventHubResourceId, consumerGroup,
       location: location, tableName: tableName, mappingRuleName: mappingRuleName,
       dataFormat: dataFormat, compression: compression, databaseRouting: databaseRouting
   );
   await kustoManagementClient.DataConnections.CreateOrUpdateAsync(resourceGroupName, clusterName, databaseName, eventHubConnectionName, eventHubConnectionData);
   

   Inställning	Föreslaget värde	Fältbeskrivning
   tenantId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Ditt klientorganisations-ID. Kallas även katalog-ID.
   subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Det prenumerations-ID som du använder för att skapa resurser.
   clientId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Klient-ID för programmet som kan komma åt resurser i din klientorganisation.
   clientSecret	PlaceholderClientSecret	Klienthemligheten för programmet som kan komma åt resurser i din klientorganisation.
   resourceGroupName	testrg	Namnet på resursgruppen som innehåller klustret.
   clusterName	mykustocluster	Namnet på klustret.
   databaseName	mykustodatabase	Namnet på måldatabasen i klustret.
   eventHubConnectionName	myeventhubconnect	Önskat namn på dataanslutningen.
   tableName	StormEvents	Namnet på måltabellen i måldatabasen.
   mappingRuleName	StormEvents_CSV_Mapping	Namnet på din kolumnmappning som är relaterad till måltabellen.
   dataFormat	csv	Meddelandets dataformat.
   eventHubResourceId	Resurs-ID	Resurs-ID för din händelsehubb som innehåller data för inmatning.
   consumerGroup	$Default	Konsumentgruppen för din händelsehubb.
   plats	USA, centrala	Platsen för dataanslutningsresursen.
   komprimering	Gzip eller Ingen	Typen av datakomprimering.
   databaseRouting	Flera eller enstaka	Databasroutningen för anslutningen. Om du anger värdet till Enkel dirigeras dataanslutningen till en enskild databas i klustret enligt vad som anges i inställningen databaseName . Om du anger värdet till Multi kan du åsidosätta standardmåldatabasen med hjälp av egenskapen Databasinmatning. Mer information finns i Händelseroutning.

Python

1. Installera de bibliotek som krävs.

   pip install azure-common
   pip install azure-mgmt-kusto
   

2. Skapa ett Huvudnamn för Azure AD-programmet som ska användas för autentisering. Du behöver katalog-ID(klient)-ID, program-ID och klienthemlighet.

3. Kör följande kod.

   from azure.mgmt.kusto import KustoManagementClient
   from azure.mgmt.kusto.models import EventHubDataConnection
   from azure.identity import ClientSecretCredential
   
   #Directory (tenant) ID
   tenant_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   #Application ID
   client_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   #Client Secret
   client_secret = "xxxxxxxxxxxxxx"
   subscription_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   credentials = ServicePrincipalCredentials(
           client_id=client_id,
           secret=client_secret,
           tenant=tenant_id
       )
   kusto_management_client = KustoManagementClient(credentials, subscription_id)
   
   resource_group_name = "myresourcegroup"
   #The cluster and database that are created as part of the Prerequisites
   cluster_name = "mycluster"
   database_name = "mydatabase"
   data_connection_name = "myeventhubconnect"
   #The event hub that is created as part of the Prerequisites
   event_hub_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/myresourcegroup/providers/Microsoft.EventHub/namespaces/myeventhubnamespace/eventhubs/myeventhub"";
   consumer_group = "$Default"
   location = "Central US"
   #The table and column mapping that are created as part of the Prerequisites
   table_name = "mytable"
   mapping_rule_name = "mytablemappingrule"
   data_format = "csv"
   database_routing = "Multi"
   #Returns an instance of LROPoller, check https://learn.microsoft.com/python/api/msrest/msrest.polling.lropoller?view=azure-python
   poller = kusto_management_client.data_connections.create_or_update(
               resource_group_name=resource_group_name,
               cluster_name=cluster_name,
               database_name=database_name,
               data_connection_name=data_connection_name,
               parameters=EventHubDataConnection(
                   event_hub_resource_id=event_hub_resource_id,
                   consumer_group=consumer_group,
                   location=location,
                   table_name=table_name,
                   mapping_rule_name=mapping_rule_name,
                   data_format=data_format,
                   database_routing=database_routing
               )
           )
   poller.wait()
   print(poller.result())
   

   Inställning	Föreslaget värde	Fältbeskrivning
   tenant_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Ditt klientorganisations-ID. Kallas även katalog-ID.
   subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Det prenumerations-ID som du använder för att skapa resurser.
   client_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Klient-ID för programmet som kan komma åt resurser i din klientorganisation.
   client_secret	xxxxxxxxxxxxxxxx	Klienthemligheten för programmet som kan komma åt resurser i din klientorganisation.
   resource_group_name	myresourcegroup	Namnet på resursgruppen som innehåller klustret.
   cluster_name	mycluster	Namnet på klustret.
   database_name	mydatabase	Namnet på måldatabasen i klustret.
   data_connection_name	myeventhubconnect	Önskat namn på dataanslutningen.
   table_name	mytable	Namnet på måltabellen i måldatabasen.
   mapping_rule_name	mytablemappingrule	Namnet på din kolumnmappning som är relaterad till måltabellen.
   data_format	csv	Meddelandets dataformat.
   event_hub_resource_id	Resurs-ID	Resurs-ID för din händelsehubb som innehåller data för inmatning.
   consumer_group	$Default	Konsumentgruppen för din händelsehubb.
   plats	USA, centrala	Platsen för dataanslutningsresursen.
   databaseRouting	Flera eller enstaka	Databasroutningen för anslutningen. Om du anger värdet till Enkel dirigeras dataanslutningen till en enskild databas i klustret enligt vad som anges i inställningen databaseName . Om du anger värdet till Multi kan du åsidosätta standardmåldatabasen med hjälp av egenskapen Databasinmatning. Mer information finns i Händelseroutning.

ARM-mall

I följande exempel visas en Azure Resource Manager-mall för att lägga till en Event Hubs-dataanslutning. Du kan redigera och distribuera mallen i Azure-portalen med hjälp av formuläret .

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Ta bort en händelsehubbdataanslutning

Portal

Gör följande för att ta bort händelsehubbens anslutning från Azure-portalen:

1. Gå till klustret. Välj Databaser på den vänstra menyn. Välj sedan den databas som innehåller måltabellen.
2. Välj Dataanslutningar på den vänstra menyn. Markera sedan kryssrutan bredvid den relevanta händelsehubbens dataanslutning.
3. Välj Ta bort på den översta menyraden.

Trollkarl

På den sista guiden väljer du kortet Hantera dataanslutning . Om du redan har avslutat guiden tar du bort dataanslutningen via Azure-portalen enligt beskrivningen på föregående flik.

C#

Kör följande kommando för att ta bort händelsehubbens anslutning:

kustoManagementClient.DataConnections.Delete(resourceGroupName, clusterName, databaseName, dataConnectionName);

Python

Kör följande kommando för att ta bort händelsehubbens anslutning:

kusto_management_client.data_connections.delete(resource_group_name=resource_group_name, cluster_name=kusto_cluster_name, database_name=kusto_database_name, data_connection_name=kusto_data_connection_name)

Nästa steg

• Fråga efter data i Azure Data Explorer