Creare una connessione dati di Hub eventi per Azure Esplora dati

Articolo
05/03/2023

Azure Esplora dati offre l'inserimento da Hub eventi, una piattaforma di streaming di Big Data e un servizio di inserimento di eventi. Hub eventi può elaborare milioni di eventi al secondo quasi in tempo reale.

In questo articolo si connetterà a un hub eventi e si insegheranno i dati in Azure Esplora dati. Per una panoramica sull'inserimento da Hub eventi, vedere Hub eventi di Azure connessione dati.

Prerequisiti

Una sottoscrizione di Azure. Creare un account Azure gratuito.
Un cluster e un database di Esplora dati di Azure. Creare un cluster e un database.
Tabella di destinazione. Creare una tabella o usare una tabella esistente.
Mapping di inserimento per la tabella.
Hub eventi con dati per l'inserimento.

Creare una connessione dati dell'hub eventi

In questa sezione si stabilirà una connessione tra l'hub eventi e la tabella Esplora dati di Azure. Finché questa connessione è stata stabilita, i dati vengono trasmessi dall'hub eventi nella tabella di destinazione. Se l'hub eventi viene spostato in una risorsa o una sottoscrizione diversa, è necessario aggiornare o ricreare la connessione.

Nel portale di Azure passare al cluster e selezionare Database. Selezionare quindi il database che contiene la tabella di destinazione.
Nel menu a sinistra selezionare Inserimento dati. Quindi, nella barra superiore selezionare Aggiungi connessione dati.

Compilare il modulo con le informazioni seguenti e quindi selezionare Crea.

Impostazione	Valore consigliato	Descrizione campo
Nome connessione dati	test-hub-connection	Nome della connessione da creare in Esplora dati di Azure.
Subscription		ID sottoscrizione in cui si trova la risorsa dell'hub eventi.
Spazio dei nomi dell'hub eventi	Nome dello spazio dei nomi univoco	Nome scelto in precedenza che identifica lo spazio dei nomi.
Hub eventi	test-hub	Hub eventi creato.
Gruppo di consumer	test-group	Gruppo di consumer definito nell'hub eventi creato.
Proprietà del sistema per gli eventi	Selezionare le proprietà appropriate	Proprietà del sistema dell'hub eventi. Se sono presenti più record per ogni messaggio di evento, le proprietà di sistema vengono aggiunte al primo record. Quando si aggiungono proprietà del sistema, creare o aggiornare lo schema e il mapping della tabella per includere le proprietà selezionate.
Compressione	Nessuno	Tipo di compressione del payload dei messaggi dell'hub eventi. Tipi di compressione supportati: Nessuno, Gzip.
Identità gestita (scelta consigliata)	Assegnata dal sistema	Identità gestita usata dal cluster Esplora dati per l'accesso in lettura dall'hub eventi. È consigliabile usare le identità gestite per controllare l'accesso all'hub eventi. Nota: Quando si crea la connessione dati: Le * Identità assegnate dal sistema vengono create automaticamente se non esistono * L'identità gestita viene assegnata automaticamente al ruolo ricevitore di dati Hub eventi di Azure e viene aggiunta al cluster Esplora dati. Si consiglia di verificare che il ruolo sia stato assegnato e che l'identità sia stata aggiunta al cluster.

Nota

Se si dispone di una connessione dati esistente che non usa identità gestite, è consigliabile aggiornarla per usare le identità gestite.

La procedura seguente illustra come creare una connessione all'hub eventi tramite l'inserimento guidato nell'interfaccia utente Web di Azure Esplora dati.

Nota

Per utilizzare la procedura guidata, è necessario disporre almeno delle autorizzazioni utente del database.
Per abilitare l'accesso tra un cluster e un account di archiviazione senza accesso pubblico, vedere Creare un endpoint privato gestito.
Il cluster e l'hub eventi devono essere associati agli stessi tenant. In caso contrario, usare una delle opzioni dell'SDK, ad esempio C# o Python.

Nella scheda Dati dell'interfaccia utente Web di Azure Esplora dati selezionare Inserimento dai dati di Inserimento dalla scheda Hub eventi.
Viene visualizzata la finestra Dati inserimento con la scheda Destinazione selezionata. I campi Cluster e Database vengono popolati automaticamente. È possibile selezionare un cluster o un database diverso nei menu a discesa.
In Tabella selezionare Nuova tabella e immettere un nome per la nuova tabella. In alternativa, usare una tabella esistente.
Selezionare Avanti: Origine.
In Tipo di origineselezionare Hub eventi.

In Connessione dati compilare i campi seguenti e selezionare Avanti: Schema.

Impostazione	Valore consigliato	Descrizione campo
Subscription		ID sottoscrizione in cui si trova la risorsa dell'hub eventi.
Spazio dei nomi dell'hub eventi		Nome che identifica lo spazio dei nomi.
Hub eventi		Hub eventi da usare.
Nome connessione dati	TestDataConnection	Nome che identifica la connessione dati.
Gruppo di consumer		Gruppo di consumer definito nell'hub eventi.
Compressione		Tipo di compressione del payload dei messaggi dell'hub eventi.
Proprietà del sistema per gli eventi	Selezionare le proprietà appropriate	Proprietà del sistema dell'hub eventi. Se sono presenti più record per ogni messaggio di evento, le proprietà di sistema vengono aggiunte alla prima. Quando si aggiungono proprietà del sistema, creare o aggiornare lo schema e il mapping della tabella per includere le proprietà selezionate.
Data di inizio recupero eventi	Ora UTC (Coordinated Universal Time)	La connessione dati recupera gli eventi esistenti di Hub eventi creati dopo la data di inizio del recupero eventi. È possibile recuperare solo gli eventi conservati dal periodo di conservazione di Hub eventi. Se la data di inizio del recupero eventi non è specificata, l'ora predefinita è l'ora in cui viene creata la connessione dati.

Impostare i criteri di inserimento. Se lo streaming è abilitato per il cluster, è possibile selezionare Inserimento di streaming. Se lo streaming non è abilitato per il cluster, impostare l'ora di invio in batch. Per Hub eventi, il tempo di invio in batch consigliato è di 30 secondi.
Selezionare il formato dati. Per i dati in formato CSV, ignorare il primo record per ignorare la riga di intestazione del file. Per i dati in formato JSON, selezionare Ignora errori di formato dati per inserire i dati in formato JSON o lasciare deselezionati per inserire i dati in formato multijson. Selezionare i livelli annidati per determinare la divisione dati della colonna della tabella.
Se i dati visualizzati nella finestra di anteprima non sono completi, potrebbero essere necessari altri dati per creare una tabella con tutti i campi dati necessari. Usare i comandi seguenti per recuperare nuovi dati dall'hub eventi:
- Ignora e recupera nuovi dati: elimina i dati presentati e cerca nuovi eventi.
- Recupera altri dati: cerca altri eventi oltre a quelli già trovati.
Nota

Per visualizzare un'anteprima dei dati, l'hub eventi deve inviare eventi.
Selezionare Avanti: Riepilogo.
Nella finestra Inserimento continuo dall'hub eventi stabilita , tutti i passaggi vengono contrassegnati con segni di spunta verdi al termine della definizione.

Installare il pacchetto Microsoft.Azure.Management.Kusto NuGet.
Creare un'entità applicazione di Azure AD da usare per l'autenticazione. Sono necessari l'ID directory (tenant), l'ID applicazione e il segreto client.

Eseguire il codice seguente.

var tenantId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Directory (tenant) ID
var clientId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Application ID
var clientSecret = "PlaceholderClientSecret"; //Client Secret
var subscriptionId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx";
var authClient = ConfidentialClientApplicationBuilder.Create(clientId)
    .WithAuthority($"https://login.microsoftonline.com/{tenantId}")
    .WithClientSecret(clientSecret)
    .Build();
var result = authClient.AcquireTokenForClient(new[] { "https://management.core.windows.net/" }).ExecuteAsync().Result;
var credentials = new TokenCredentials(result.AccessToken, result.TokenType);
var kustoManagementClient = new KustoManagementClient(credentials) { SubscriptionId = subscriptionId };
var resourceGroupName = "testrg";
//The cluster and database that are created as part of the Prerequisites
var clusterName = "mykustocluster";
var databaseName = "mykustodatabase";
var eventHubConnectionName = "myeventhubconnect";
//The event hub that is created as part of the Prerequisites
var eventHubResourceId = "/subscriptions/<eventHubSubscriptionId>/resourceGroups/<eventHubResourceGroupName>/providers/Microsoft.EventHub/namespaces/<eventHubNamespaceName>/eventhubs/<eventHubName>";
var consumerGroup = "$Default";
var location = "Central US";
//The table and column mapping are created as part of the Prerequisites
var tableName = "StormEvents";
var mappingRuleName = "StormEvents_CSV_Mapping";
var dataFormat = EventHubDataFormat.CSV;
var compression = "None";
var databaseRouting = "Multi";
var eventHubConnectionData = new EventHubDataConnection(
    eventHubResourceId, consumerGroup,
    location: location, tableName: tableName, mappingRuleName: mappingRuleName,
    dataFormat: dataFormat, compression: compression, databaseRouting: databaseRouting
);
await kustoManagementClient.DataConnections.CreateOrUpdateAsync(resourceGroupName, clusterName, databaseName, eventHubConnectionName, eventHubConnectionData);

Impostazione	Valore consigliato	Descrizione campo
tenantId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	ID tenant. Noto anche come ID directory.
subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	L'ID sottoscrizione usato per la creazione di risorse.
clientId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	L'ID client dell'applicazione che può accedere alle risorse nel tenant.
clientSecret	PlaceholderClientSecret	Il segreto client dell'applicazione che può accedere alle risorse nel tenant.
resourceGroupName	testrg	Nome del gruppo di risorse contenente il cluster.
clusterName	mykustocluster	Nome del cluster.
databaseName	mykustodatabase	Nome del database di destinazione nel cluster.
eventHubConnectionName	myeventhubconnect	Nome desiderato della connessione dati.
tableName	StormEvents	Nome della tabella di destinazione nel database di destinazione.
mappingRuleName	StormEvents_CSV_Mapping	Nome del mapping delle colonne correlato alla tabella di destinazione.
dataFormat	csv	Formato dati del messaggio.
eventHubResourceId	ID risorsa	ID risorsa dell'hub eventi che contiene i dati per l'inserimento.
consumerGroup	$Default	Gruppo di consumer dell'hub eventi.
posizione	Stati Uniti centrali	Posizione della risorsa di connessione dati.
compressione	Gzip o Nessuno	Tipo di compressione dei dati.
databaseRouting	Multi o Single	Routing del database per la connessione. Se si imposta il valore su Single, la connessione dati viene instradata a un singolo database nel cluster come specificato nell'impostazione databaseName . Se si imposta il valore su Multi, è possibile eseguire l'override del database di destinazione predefinito usando la proprietà inserimento database. Per altre informazioni, vedere Routing degli eventi.

Installare le librerie necessarie.

pip install azure-common
pip install azure-mgmt-kusto

Creare un'entità applicazione di Azure AD da usare per l'autenticazione. Sono necessari l'ID directory (tenant), l'ID applicazione e il segreto client.

Eseguire il codice seguente.

from azure.mgmt.kusto import KustoManagementClient
from azure.mgmt.kusto.models import EventHubDataConnection
from azure.identity import ClientSecretCredential

#Directory (tenant) ID
tenant_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
#Application ID
client_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
#Client Secret
client_secret = "xxxxxxxxxxxxxx"
subscription_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
credentials = ServicePrincipalCredentials(
        client_id=client_id,
        secret=client_secret,
        tenant=tenant_id
    )
kusto_management_client = KustoManagementClient(credentials, subscription_id)

resource_group_name = "myresourcegroup"
#The cluster and database that are created as part of the Prerequisites
cluster_name = "mycluster"
database_name = "mydatabase"
data_connection_name = "myeventhubconnect"
#The event hub that is created as part of the Prerequisites
event_hub_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/myresourcegroup/providers/Microsoft.EventHub/namespaces/myeventhubnamespace/eventhubs/myeventhub"";
consumer_group = "$Default"
location = "Central US"
#The table and column mapping that are created as part of the Prerequisites
table_name = "mytable"
mapping_rule_name = "mytablemappingrule"
data_format = "csv"
database_routing = "Multi"
#Returns an instance of LROPoller, check https://learn.microsoft.com/python/api/msrest/msrest.polling.lropoller?view=azure-python
poller = kusto_management_client.data_connections.create_or_update(
            resource_group_name=resource_group_name,
            cluster_name=cluster_name,
            database_name=database_name,
            data_connection_name=data_connection_name,
            parameters=EventHubDataConnection(
                event_hub_resource_id=event_hub_resource_id,
                consumer_group=consumer_group,
                location=location,
                table_name=table_name,
                mapping_rule_name=mapping_rule_name,
                data_format=data_format,
                database_routing=database_routing
            )
        )
poller.wait()
print(poller.result())

Impostazione	Valore consigliato	Descrizione campo
tenant_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	ID tenant. Noto anche come ID directory.
subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	L'ID sottoscrizione usato per la creazione di risorse.
client_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	L'ID client dell'applicazione che può accedere alle risorse nel tenant.
client_secret	xxxxxxxxxxxxxx	Il segreto client dell'applicazione che può accedere alle risorse nel tenant.
resource_group_name	myresourcegroup	Nome del gruppo di risorse contenente il cluster.
cluster_name	mycluster	Nome del cluster.
database_name	mydatabase	Nome del database di destinazione nel cluster.
data_connection_name	myeventhubconnect	Nome desiderato della connessione dati.
table_name	mytable	Nome della tabella di destinazione nel database di destinazione.
mapping_rule_name	mytablemappingrule	Nome del mapping delle colonne relativo alla tabella di destinazione.
data_format	csv	Formato dei dati del messaggio.
event_hub_resource_id	ID risorsa	ID risorsa dell'hub eventi che contiene i dati per l'inserimento.
consumer_group	$Default	Gruppo di consumer dell'hub eventi.
posizione	Stati Uniti centrali	Posizione della risorsa di connessione dati.
databaseRouting	Multi o Single	Routing del database per la connessione. Se si imposta il valore su Single, la connessione dati viene instradata a un singolo database nel cluster come specificato nell'impostazione databaseName . Se si imposta il valore su Multi, è possibile eseguire l'override del database di destinazione predefinito usando la proprietà inserimento database. Per altre informazioni, vedere Routing degli eventi.

L'esempio seguente illustra un modello di Azure Resource Manager per l'aggiunta di una connessione dati di Hub eventi. È possibile modificare e distribuire il modello nel portale di Azure usando il modulo.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Rimuovere una connessione dati dell'hub eventi

Per rimuovere la connessione dell'hub eventi dalla portale di Azure, eseguire le operazioni seguenti:

Passare al cluster. Nel menu a sinistra selezionare Database. Selezionare quindi il database contenente la tabella di destinazione.
Dal menu a sinistra selezionare Connessioni dati. Selezionare quindi la casella di controllo accanto alla connessione dati dell'hub eventi pertinente.
Nella barra dei menu in alto selezionare Elimina.

Per rimuovere la connessione all'hub eventi, eseguire il comando seguente:

kustoManagementClient.DataConnections.Delete(resourceGroupName, clusterName, databaseName, dataConnectionName);

Per rimuovere la connessione all'hub eventi, eseguire il comando seguente:

kusto_management_client.data_connections.delete(resource_group_name=resource_group_name, cluster_name=kusto_cluster_name, database_name=kusto_database_name, data_connection_name=kusto_data_connection_name)

Passaggi successivi

Eseguire query sui dati in Esplora dati di Azure

Condividi tramite

Creare una connessione dati di Hub eventi per Azure Esplora dati

Prerequisiti

Creare una connessione dati dell'hub eventi

Rimuovere una connessione dati dell'hub eventi

Passaggi successivi

Risorse aggiuntive