Creare una connessione dati di Hub eventi per Azure Esplora dati

Azure Esplora dati offre l'inserimento da Hub eventi, una piattaforma di streaming Big Data e un servizio di inserimento eventi. Hub eventi può elaborare milioni di eventi al secondo in tempo quasi reale.

In questo articolo si connette a un hub eventi e si inseriscono dati in Azure Esplora dati. Per una panoramica sull'inserimento da Hub eventi, vedere Hub eventi di Azure connessione dati.

Per informazioni su come creare la connessione usando gli SDK Kusto, vedere Creare una connessione dati di Hub eventi con gli SDK.

Per esempi di codice basati sulle versioni precedenti di SDK, vedere l'articolo archiviato.

Creare una connessione dati dell'hub eventi

In questa sezione viene stabilita una connessione tra l'hub eventi e la tabella di Esplora dati di Azure. Purché questa connessione sia presente, i dati vengono trasmessi dall'hub eventi nella tabella di destinazione. Se l'hub eventi viene spostato in una risorsa o una sottoscrizione diversa, è necessario aggiornare o ricreare la connessione.

Recuperare i dati

Prerequisiti

• Un account Microsoft o un'identità utente di Microsoft Entra. Non è necessaria una sottoscrizione di Azure.
• Un cluster e un database di Esplora dati di Azure. Creare un cluster e un database.
• L'inserimento di streaming deve essere configurato nel cluster di Esplora dati di Azure.

Recuperare i dati

1. Dal menu a sinistra selezionare Query.

2. Fare clic con il pulsante destro del mouse sul database in cui si desidera inserire i dati. Selezionare Recupera dati.

   

Source

Nella finestra Recupera dati selezionare la scheda Origine .

Selezionare l'origine dati dall'elenco disponibile. In questo esempio si inseriscono dati da Hub eventi.

Configurare

1. Selezionare un database di destinazione e una tabella. Se si desidera inserire dati in una nuova tabella, selezionare + Nuova tabella e immettere un nome di tabella.

   Nota

   I nomi delle tabelle possono essere fino a 1024 caratteri, inclusi spazi, alfanumerici, trattini e caratteri di sottolineatura. I caratteri speciali non sono supportati.

   

2. Compilare i campi seguenti:

   Impostazione	Descrizione campo
   Subscription	ID sottoscrizione in cui si trova la risorsa dell'hub eventi.
   Spazio dei nomi dell'hub eventi	Nome che identifica lo spazio dei nomi.
   Hub eventi	Hub eventi che si desidera
   Gruppo di consumer	Gruppo di consumer definito nell'evento
   Data connection name (Nome connessione dati)	Nome che identifica la connessione dati.
   Filtri avanzati
   Compressione	Tipo di compressione del payload dei messaggi dell'hub eventi.
   Proprietà del sistema per gli eventi	Proprietà del sistema dell'hub eventi. Se sono presenti più record per ogni messaggio di evento, le proprietà di sistema vengono aggiunte alla prima. Quando si aggiungono proprietà del sistema, creare o aggiornare lo schema e il mapping della tabella per includere le proprietà selezionate.
   Data di inizio recupero eventi	La connessione dati recupera gli eventi di Hub eventi esistenti creati dopo la data di inizio del recupero eventi. È possibile recuperare solo gli eventi conservati dal periodo di conservazione di Hub eventi. Se la data di inizio del recupero eventi non è specificata, l'ora predefinita è l'ora in cui viene creata la connessione dati.

3. Selezionare Avanti

Controllare

Verrà visualizzata la scheda Controlla con un'anteprima dei dati.

Per completare il processo di inserimento, selezionare Fine.

Facoltativamente:

• Se i dati visualizzati nella finestra di anteprima non sono completati, potrebbero essere necessari altri dati per creare una tabella con tutti i campi dati necessari. Usare i comandi seguenti per recuperare nuovi dati dall'hub eventi:

  • Eliminare e recuperare nuovi dati: elimina i dati presentati e cerca nuovi eventi.

  • Recuperare altri dati: cerca altri eventi oltre agli eventi già trovati.

    Nota

    Per visualizzare un'anteprima dei dati, l'hub eventi deve inviare eventi.

• Selezionare Visualizzatore comandi per visualizzare e copiare i comandi automatici generati dagli input.

• Usare l'elenco a discesa File di definizione schema per modificare il file da cui viene dedotto lo schema.

• Modificare il formato dati dedotto automaticamente selezionando il formato desiderato dall'elenco a discesa. Per l'inserimento, vedere Formati di dati supportati da Azure Esplora dati.

• Modificare le colonne.

• Esplorare le opzioni avanzate in base al tipo di dati.

Modifica colonne

Nota

• Per i formati tabulari (CSV, TSV, PSV), non è possibile eseguire il mapping di una colonna due volte. Per eseguire il mapping a una colonna esistente, eliminare prima quella nuova.
• Non è possibile modificare un tipo di colonna esistente. Se si tenta di eseguire il mapping a una colonna con un formato diverso, è possibile che si verifichino colonne vuote.

Le modifiche che è possibile apportare in una tabella dipendono dai parametri seguenti:

• Il tipo di tabella è nuovo o esistente
• Il tipo di mapping è nuovo o esistente

Tipo di tabella.	Tipo di mapping	Modifiche disponibili
Nuova tabella	Nuovo mapping	Rinominare la colonna, modificare il tipo di dati, modificare l'origine dati, la trasformazione mapping, aggiungere colonna, eliminare la colonna
Tabella esistente	Nuovo mapping	Aggiungere colonna (in cui è possibile modificare il tipo di dati, rinominare e aggiornare)
Tabella esistente	Mapping esistente	Nessuno

Trasformazioni del mapping

Alcuni mapping del formato dati (Parquet, JSON e Avro) supportano semplici trasformazioni in fase di inserimento. Per applicare trasformazioni di mapping, creare o aggiornare una colonna nella finestra Modifica colonne .

Le trasformazioni di mapping possono essere eseguite su una colonna di tipo string o datetime, con l'origine con tipo di dati int o long. Le trasformazioni del mapping supportate sono:

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Opzioni avanzate basate sul tipo di dati

Tabulare (CSV, TSV, PSV):Tabular (CSV, TSV, PSV):Tabular (CSV, TSV, PSV):

• Se si inseriscono formati tabulari in una tabella esistente, è possibile selezionare Avanzate>Mantieni schema di tabella corrente. I dati tabulari non includono necessariamente i nomi di colonna usati per eseguire il mapping dei dati di origine alle colonne esistenti. Quando questa opzione viene selezionata, il mapping viene eseguito in base all'ordine e lo schema della tabella rimane invariato. Se questa opzione è deselezionata, vengono create nuove colonne per i dati in ingresso, indipendentemente dalla struttura dei dati.

• Per usare la prima riga come nomi di colonna, selezionare Advanced First row is column header .To use the first row as column names, select Advanced>First row is column header.

  

JSON:

• Per determinare la divisione delle colonne dei dati JSON, selezionare Livelliannidati avanzati>, da 1 a 100.

• Se si seleziona Ignoraerrori di formato datiavanzati>, i dati vengono inseriti in formato JSON. Se si lascia deselezionata questa casella di controllo, i dati vengono inseriti in formato multijson.

  

Riepilogo

Nella finestra Preparazione dati tutti e tre i passaggi vengono contrassegnati con segni di spunta verdi al termine dell'inserimento dati. È possibile visualizzare i comandi usati per ogni passaggio oppure selezionare una scheda per eseguire query, visualizzare o eliminare i dati inseriti.

Portale - Pagina Esplora dati di Azure

Prerequisiti

• Una sottoscrizione di Azure. Creare un account Azure gratuito.
• Un cluster e un database di Esplora dati di Azure. Creare un cluster e un database.
• Tabella di destinazione. Creare una tabella o usare una tabella esistente.
• Mapping di inserimento per la tabella.
• Un hub eventi con dati per l'inserimento.

Recuperare i dati

1. Nel portale di Azure passare al cluster e selezionare Database. Selezionare quindi il database contenente la tabella di destinazione.

   

2. Nel menu a sinistra selezionare Inserimento dati. Quindi, nella barra superiore selezionare Aggiungi connessione dati.

3. Compilare il modulo con le informazioni seguenti e quindi selezionare Crea.

   Impostazione	Valore consigliato	Descrizione campo
   Data connection name (Nome connessione dati)	test-hub-connection	Nome della connessione da creare in Esplora dati di Azure.
   Subscription		ID sottoscrizione in cui si trova la risorsa dell'hub eventi.
   Spazio dei nomi dell'hub eventi	Nome dello spazio dei nomi univoco	Nome scelto in precedenza che identifica lo spazio dei nomi.
   Hub eventi	test-hub	Hub eventi creato.
   Gruppo di consumer	test-group	Gruppo di consumer definito nell'hub eventi creato.
   Proprietà del sistema per gli eventi	Selezionare le proprietà appropriate	Proprietà del sistema dell'hub eventi. Se sono presenti più record per ogni messaggio di evento, le proprietà di sistema vengono aggiunte al primo record. Quando si aggiungono proprietà del sistema, creare o aggiornare lo schema e il mapping della tabella per includere le proprietà selezionate.
   Compressione	Nessuno	Tipo di compressione del payload dei messaggi dell'hub eventi. Tipi di compressione supportati: Nessuno, Gzip.
   Identità gestita (scelta consigliata)	Assegnata dal sistema	Identità gestita usata dal cluster Esplora dati per l'accesso in lettura dall'hub eventi. È consigliabile usare le identità gestite per controllare l'accesso all'hub eventi. Nota: Quando viene creata la connessione dati: * Le identità assegnate dal sistema vengono create automaticamente se non esistono * L'identità gestita viene assegnata automaticamente al ruolo Hub eventi di Azure Ricevitore dati e viene aggiunta al cluster Esplora dati. È consigliabile verificare che il ruolo sia stato assegnato e che l'identità sia stata aggiunta al cluster.

   Nota

   Se si dispone di una connessione dati esistente che non usa identità gestite, è consigliabile aggiornarla per usare le identità gestite.

Portale - pagina Hub eventi di Azure

Prerequisiti

• Una sottoscrizione di Azure. Creare un account Azure gratuito.
• Un cluster e un database di Esplora dati di Azure. Creare un cluster e un database.
• Tabella di destinazione. Creare una tabella o usare una tabella esistente.
• Mapping di inserimento per la tabella.
• Un hub eventi con dati per l'inserimento.

Recuperare i dati

1. Nella portale di Azure passare all'istanza di Hub eventi.

2. Nel menu laterale Funzionalità selezionare Analizza dati con Kusto.

3. Selezionare Avvia per aprire la procedura guidata di inserimento in Azure Esplora dati.

   

   Nota

   • È necessario disporre almeno delle autorizzazioni utente del database .
   • Per abilitare l'accesso tra un cluster e un account di archiviazione senza accesso pubblico, vedere Creare un endpoint privato gestito.
   • Il cluster e l'hub eventi devono essere associati agli stessi tenant. In caso contrario, usare una delle opzioni sdk, ad esempio C# o Python.

4. Il riquadro Laterale Inserimento dati viene aperto con la scheda Destinazione selezionata. Selezionare i campi Cluster e Database nell'elenco a discesa. Assicurarsi di selezionare un cluster in esecuzione. In caso contrario, non sarà possibile selezionare Database e procedere con il processo di inserimento.

5. In Tabella selezionare Nuova tabella e immettere un nome per la nuova tabella. In alternativa, usare una tabella esistente.

6. Selezionare Avanti: Origine.

7. In Tipo di origine, il tipo dell'hub eventi e i dettagli vengono popolati automaticamente in base all'istanza di Hub eventi avviata.

8. In Connessione dati compilare i campi seguenti e selezionare Avanti: Schema.

   Impostazione	Valore consigliato	Descrizione campo
   Subscription		ID sottoscrizione in cui si trova la risorsa dell'hub eventi.
   Spazio dei nomi dell'hub eventi		Nome che identifica lo spazio dei nomi.
   Hub eventi		Hub eventi che si vuole usare.
   Data connection name (Nome connessione dati)	TestDataConnection	Nome che identifica la connessione dati.
   Gruppo di consumer		Gruppo di consumer definito nell'hub eventi.
   Compressione		Tipo di compressione del payload dei messaggi dell'hub eventi.
   Proprietà del sistema per gli eventi	Selezionare le proprietà appropriate	Proprietà del sistema dell'hub eventi. Se sono presenti più record per ogni messaggio di evento, le proprietà di sistema vengono aggiunte alla prima. Quando si aggiungono proprietà del sistema, creare o aggiornare lo schema e il mapping della tabella per includere le proprietà selezionate.
   Data di inizio recupero eventi	Ora universale coordinata (UTC)	La connessione dati recupera gli eventi di Hub eventi esistenti creati dopo la data di inizio del recupero eventi. È possibile recuperare solo gli eventi conservati dal periodo di conservazione di Hub eventi. Se la data di inizio del recupero eventi non è specificata, l'ora predefinita è l'ora in cui viene creata la connessione dati.

9. Se lo streaming è abilitato per il cluster, è possibile selezionare Inserimento streaming. Se lo streaming non è abilitato per il cluster, impostare la latenza batch di dati. Per Hub eventi, il tempo di batch consigliato è di 30 secondi.

   

10. Selezionare il formato dati. Per i dati formattati in CSV, ignorare il primo record per ignorare la riga di intestazione del file. Per i dati formattati JSON, selezionare Ignora errori di formato dati per inserire i dati in formato JSON o lasciare non selezionati per inserire i dati in formato multijson. Selezionare i livelli annidati per determinare la divisione dati della colonna tabella.

11. Se i dati visualizzati nella finestra di anteprima non sono completati, potrebbero essere necessari altri dati per creare una tabella con tutti i campi dati necessari. Usare i comandi seguenti per recuperare nuovi dati dall'hub eventi:

    • Eliminare e recuperare nuovi dati: elimina i dati presentati e cerca nuovi eventi.
    • Recuperare altri dati: cerca altri eventi oltre agli eventi già trovati.

    Nota

    Per visualizzare un'anteprima dei dati, l'hub eventi deve inviare eventi.

12. Selezionare Avanti: Riepilogo.

13. Nella finestra Di inserimento continuo dall'hub eventi stabilita , tutti i passaggi vengono contrassegnati con i segni di spunta verdi al termine dell'istituzione.

Modello ARM

Prerequisiti

• Una sottoscrizione di Azure. Creare un account Azure gratuito.
• Un cluster e un database di Esplora dati di Azure. Creare un cluster e un database.
• Tabella di destinazione. Creare una tabella o usare una tabella esistente.
• Mapping di inserimento per la tabella.
• Hub eventi con dati per l'inserimento.

Modello ARM

Nell'esempio seguente viene illustrato un modello di Resource Manager di Azure per l'aggiunta di una connessione dati di Hub eventi. È possibile modificare e distribuire il modello nella portale di Azure usando il modulo.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Rimuovere una connessione dati dell'hub eventi

Recuperare i dati

Rimuovere la connessione dati tramite la portale di Azure come illustrato nella scheda portale.

Portale

Per rimuovere la connessione dell'hub eventi dalla portale di Azure, eseguire le operazioni seguenti:

1. Passare al cluster. Dal menu a sinistra selezionare Database. Selezionare quindi il database contenente la tabella di destinazione.
2. Dal menu a sinistra selezionare Connessioni dati. Selezionare quindi la casella di controllo accanto alla connessione dati dell'hub eventi pertinente.
3. Nella barra dei menu in alto selezionare Elimina.

Contenuti correlati

• Controllare la connessione con l'app di messaggio di esempio dell'hub eventi
• Eseguire query sui dati nell'interfaccia utente Web