Creare una connessione dati di Griglia di eventi per Azure Esplora dati

Articolo
09/03/2024

Questo articolo illustra come inserire BLOB dall'account di archiviazione in Azure Esplora dati usando una connessione dati di Griglia di eventi. Creare una connessione dati a Griglia di eventi che imposta una sottoscrizione alla Griglia di eventi di Azure. La sottoscrizione di Griglia di eventi instrada gli eventi dall'account di archiviazione ad Azure Esplora dati tramite un Hub eventi di Azure.

Nota

L'inserimento supporta file di dimensione massima di 6 GB. È consigliabile inserire file di dimensione compresa tra 100 MB e 1 GB.

Per informazioni su come creare la connessione usando gli SDK Kusto, vedere Creare una connessione dati di Griglia di eventi con SDK.

Per informazioni generali sull'inserimento in Azure Esplora dati da Griglia di eventi, vedere Connettersi a Griglia di eventi.

Nota

Per ottenere prestazioni ottimali con la connessione di Griglia di eventi, impostare la rawSizeBytes proprietà di inserimento tramite i metadati del BLOB. Per altre informazioni, vedere Proprietà di inserimento.

Prerequisiti

Una sottoscrizione di Azure. Creare un account Azure gratuito.
Un cluster e un database di Esplora dati di Azure. Creare un cluster e un database.
Tabella di destinazione. Creare una tabella o usare una tabella esistente.
Mapping di inserimento per la tabella.
Un account di archiviazione. Una sottoscrizione di notifica di Griglia di eventi può essere impostata su Archiviazione di Azure account per BlobStorage, StorageV2o Data Lake Storage Gen2.
Fare in modo che il provider di risorse di Griglia di eventi sia registrato.

Creare una connessione dati a Griglia di eventi

In questa sezione viene stabilita una connessione tra Griglia di eventi e la tabella di Azure Esplora dati.

Passare al cluster Esplora dati di Azure nel portale di Azure.
In Dati selezionare Database>TestDatabase.
In Impostazioni selezionare Connessioni dati e quindi Aggiungi connessione>dati Griglia di eventi (archiviazione BLOB).

Compilare il modulo di connessione dati di Griglia di eventi con le informazioni seguenti:

Impostazione	Valore consigliato	Descrizione campo
Nome connessione dati	test-grid-connection	Il nome della connessione da creare in Esplora dati di Azure. I nomi di connessione dati possono contenere solo caratteri alfanumerici, trattini e punti e fino a 40 caratteri.
Sottoscrizione dell'account di archiviazione	ID della sottoscrizione	L'ID sottoscrizione in cui trova l'account di archiviazione.
Tipo di evento	BLOB creato o BLOB rinominato	Tipo di evento che attiva l'inserimento dati. BLOB rinominato è supportato solo per la risorsa di archiviazione ADLSv2. Per rinominare un BLOB, passare al BLOB in portale di Azure, fare clic con il pulsante destro del mouse sul BLOB e scegliere Rinomina. I tipi supportati sono Microsoft.Storage.BlobCreated o Microsoft.Storage.BlobRenamed.
Account di archiviazione	gridteststorage1	Il nome dell'account di archiviazione creato in precedenza.
Creazione risorse	Automatico	L'attivazione della creazione automatica delle risorse significa che Azure Esplora dati crea automaticamente una sottoscrizione di Griglia di eventi, uno spazio dei nomi di Hub eventi e un hub eventi. In caso contrario, è necessario creare queste risorse manualmente per garantire la creazione della connessione dati. Vedere Creare manualmente risorse per l'inserimento di Griglia di eventi

Facoltativamente, è possibile tenere traccia di argomenti specifici di Griglia di eventi. Impostare i filtri per le notifiche come segue:
- Il campo prefisso è il valore letterale del prefisso dell'oggetto. Quando il modello applicato inizia con , può estendersi su più contenitori, cartelle o BLOB. I caratteri jolly non sono consentiti.
  - Per definire un filtro per il contenitore BLOB il campo deve essere impostato come segue: /blobServices/default/containers/[container prefix].
  - Per definire un filtro per un prefisso BLOB (o una cartella in Azure Data Lake Gen2) il campo deve essere impostato come segue: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
- Il campo Suffisso è il valore letterale del suffisso del BLOB. I caratteri jolly non sono consentiti.
- Il campo con distinzione tra Maiuscole/minuscole indica se i filtri del prefisso e del suffisso distinguono tra maiuscole e minuscole
Per altre informazioni sul filtro degli eventi, vedere Eventi di archiviazione BLOB.

Facoltativamente, è possibile specificare le impostazioni di routing dei dati in base alle informazioni seguenti. Non è necessario specificare tutte le impostazioni di routing dei dati. È anche possibile specificare impostazioni parziali.

Impostazione	Valore consigliato	Descrizione campo
Consentire il routing dei dati ad altri database (connessione dati multi database)	Non consentire	Attivare o disattivare questa opzione se si desidera eseguire l'override del database di destinazione predefinito associato alla connessione dati. Per altre informazioni sul routing del database, vedere Routing degli eventi.
Nome tabella	TestTable	Tabella creata in TestDatabase.
Formato dati	JSON	I formati supportati sono APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT e W3CLOG. Le opzioni di compressione supportate sono zip e gzip.
Nome mapping	TestTable_mapping	Mapping creato in TestDatabase, che esegue il mapping dei dati in ingresso ai nomi di colonna e ai tipi di dati di TestTable. Se non specificato, viene generato automaticamente un mapping dei dati Identity derivato dallo schema della tabella.
Ignorare gli errori di formato	Ignora	Attivare o disattivare questa opzione se si desidera ignorare gli errori di formato per il formato dati JSON.

Nota

I nomi di tabella e mapping fanno distinzione tra maiuscole e minuscole.

Facoltativamente, in Impostazioni avanzate è possibile specificare il tipo di identità gestita usato dalla connessione dati. Per impostazione predefinita, l'opzione Assegnata dal sistema è selezionata.

Se si seleziona Assegnata dall'utente, è necessario assegnare manualmente un'identità gestita. Se si seleziona un utente non ancora assegnato al cluster, verrà assegnato automaticamente. Per altre informazioni, vedere Configurare le identità gestite per il cluster di azure Esplora dati.

Se si seleziona Nessuno, l'account di archiviazione e l'hub eventi vengono autenticati tramite stringa di connessione. Non è consigliabile usare questo metodo.

Selezionare Crea.

Passare all'account di archiviazione nel portale di Azure.
Seleziona Eventi.
Nella scheda Attività iniziali selezionare la scheda Azure Esplora dati.
Nel riquadro Crea inserimento dati continuo selezionare Crea.

Scegliere la destinazione per instradare gli eventi in

Selezionare un cluster in cui inserire i dati.
Selezionare un database di destinazione.
Selezionare Seleziona.

Creare una connessione dati

Compilare il modulo con le informazioni seguenti:

Impostazione	Valore consigliato	Descrizione campo
Nome connessione dati	test-grid-connection	Il nome della connessione da creare in Esplora dati di Azure.
Sottoscrizione dell'account di archiviazione	ID della sottoscrizione	L'ID sottoscrizione in cui trova l'account di archiviazione.
Tipo di evento	BLOB creato o BLOB rinominato	Tipo di evento che attiva l'inserimento dati. BLOB rinominato è supportato solo per la risorsa di archiviazione ADLSv2. Per rinominare un BLOB, passare al BLOB in portale di Azure, fare clic con il pulsante destro del mouse sul BLOB e scegliere Rinomina. I tipi supportati sono Microsoft.Storage.BlobCreated o Microsoft.Storage.BlobRenamed.
Account di archiviazione	gridteststorage1	L'account di archiviazione da cui è stato eseguito l'accesso a questa procedura guidata viene popolato automaticamente.
Creazione risorse	Automatico	L'attivazione della creazione automatica delle risorse significa che Azure Esplora dati crea automaticamente una sottoscrizione di Griglia di eventi, uno spazio dei nomi di Hub eventi e un hub eventi. In caso contrario, è necessario creare queste risorse manualmente per garantire la creazione della connessione dati. Vedere Creare manualmente risorse per l'inserimento di Griglia di eventi

Facoltativamente, è possibile tenere traccia di argomenti specifici di Griglia di eventi. Impostare i filtri per le notifiche come segue:
- Il campo prefisso è il valore letterale del prefisso dell'oggetto. Quando il modello applicato inizia con , può estendersi su più contenitori, cartelle o BLOB. I caratteri jolly non sono consentiti.
  - Per definire un filtro per il contenitore BLOB il campo deve essere impostato come segue: /blobServices/default/containers/[container prefix].
  - Per definire un filtro per un prefisso BLOB (o una cartella in Azure Data Lake Gen2) il campo deve essere impostato come segue: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
- Il campo Suffisso è il valore letterale del suffisso del BLOB. I caratteri jolly non sono consentiti.
- Il campo con distinzione tra Maiuscole/minuscole indica se i filtri del prefisso e del suffisso distinguono tra maiuscole e minuscole
Per altre informazioni sul filtro degli eventi, vedere Eventi di archiviazione BLOB.

Impostazione	Valore consigliato	Descrizione campo
Consentire il routing dei dati ad altri database (connessione dati multi database)	Non consentire	Attivare o disattivare questa opzione se si desidera eseguire l'override del database di destinazione predefinito associato alla connessione dati. Per altre informazioni sul routing del database, vedere Routing degli eventi.
Nome tabella	TestTable	Tabella creata in TestDatabase.
Formato dati	JSON	I formati supportati sono APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT e W3CLOG. Le opzioni di compressione supportate sono zip e gzip.
Nome mapping	TestTable_mapping	Mapping creato in TestDatabase, che esegue il mapping dei dati in ingresso ai nomi di colonna e ai tipi di dati di TestTable. Se non specificato, viene generato automaticamente un mapping dei dati Identity derivato dallo schema della tabella.
Ignorare gli errori di formato	Ignora	Attivare o disattivare questa opzione se si desidera ignorare gli errori di formato per il formato dati JSON.

Nota

I nomi di tabella e mapping fanno distinzione tra maiuscole e minuscole.

Facoltativamente, in Impostazioni avanzate è possibile specificare il tipo di identità gestita usato dalla connessione dati. Per impostazione predefinita, l'opzione Assegnata dal sistema è selezionata.

Se si seleziona Assegnata dall'utente, è necessario assegnare manualmente un'identità gestita. Se si seleziona un utente non ancora assegnato al cluster, verrà assegnato automaticamente. Per altre informazioni, vedere Configurare le identità gestite per il cluster di azure Esplora dati.

Se si seleziona Nessuno, l'account di archiviazione e l'hub eventi vengono autenticati tramite stringa di connessione. Non è consigliabile usare questo metodo.

Seleziona Crea.

L'esempio seguente illustra un modello di Azure Resource Manager per l'aggiunta di una connessione dati di Griglia di eventi. È possibile modificare e distribuire il modello nel portale di Azure usando il modulo.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the event hub namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "StorageAccounts_storagedemo_name": {
            "type": "string",
            "defaultValue": "storagedemo",
            "metadata": {
                "description": "Specifies the storage account name"
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
             "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the resources"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the resources"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventGrid",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "storageAccountResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Storage/storageAccounts', parameters('StorageAccounts_storagedemo_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Usare la connessione dati di Griglia di eventi

Questa sezione illustra come attivare l'inserimento da Archiviazione BLOB di Azure o Azure Data Lake Gen 2 al cluster dopo la creazione o la ridenominazione dei BLOB.

Selezionare la scheda pertinente in base al tipo di SDK di archiviazione usato per caricare i BLOB.

Archiviazione BLOB di Azure
Azure Data Lake

L'esempio di codice seguente usa Archiviazione BLOB di Azure SDK per caricare un file in Archiviazione BLOB di Azure. Il caricamento attiva la connessione dati di Griglia di eventi, che inserisce i dati in Azure Esplora dati.

var azureStorageAccountConnectionString = <storage_account_connection_string>;
var containerName = <container_name>;
var blobName = <blob_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
// Create a new container if it not already exists.
var azureStorageAccount = new BlobServiceClient(azureStorageAccountConnectionString);
var container = azureStorageAccount.GetBlobContainerClient(containerName);
container.CreateIfNotExists();
// Define blob metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new BlobUploadOptions
{
    Metadata = metadata,
};
// Upload the file.
var blob = container.GetBlobClient(blobName);
blob.Upload(localFileName, uploadOptions);

Nota

Azure Esplora dati non eliminerà i BLOB dopo l'inserimento. Conservare i BLOB per tre-cinque giorni usando il ciclo di vita dell'archiviazione BLOB di Azure per gestire l'eliminazione dei BLOB.

L'esempio di codice seguente usa Azure Data Lake SDK per caricare un file in Data Lake Storage Gen2. Il caricamento attiva la connessione dati di Griglia di eventi, che inserisce i dati in Azure Esplora dati.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var fileName = <file_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Create the filesystem.
var dataLakeFileSystemClient = dataLakeServiceClient.CreateFileSystem(fileSystemName).Value;
// Define file metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new DataLakeFileUploadOptions
{
    Metadata = metadata,
    Close = true // Note: The close option triggers the event being processed by the data connection.
};
// Upload the file.
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(fileName);
dataLakeFileClient.Upload(localFileName, uploadOptions);

Nota

Quando si carica un file con Azure Data Lake SDK, l'evento di creazione file iniziale ha una dimensione pari a 0, che viene ignorata da Azure Esplora dati durante l'inserimento dei dati. Per garantire l'inserimento corretto, impostare il Close parametro su true. Questo parametro fa sì che il metodo upload attivi un evento FlushAndClose , a indicare che è stato eseguito l'aggiornamento finale e che il flusso di file è chiuso.
Per ridurre il traffico proveniente da Griglia di eventi e ottimizzare l'inserimento di eventi in Azure Esplora dati, è consigliabile filtrare la chiave data.api per escludere gli eventi CreateFile. In questo modo si garantisce che gli eventi di creazione di file con dimensioni 0 vengano filtrati, impedendo errori di inserimento di file vuoti. Per altre informazioni sullo scaricamento, vedere Metodo di scaricamento di Azure Data Lake.

Rinominare i BLOB

In ADLSv2 è possibile rinominare le directory. Tuttavia, è importante notare che la ridenominazione di una directory non attiva eventi rinominati di BLOB o avvia l'inserimento di BLOB contenuti nella directory. Se si vuole garantire l'inserimento di BLOB dopo la ridenominazione di una directory, è necessario rinominare direttamente i singoli BLOB all'interno della directory.

L'esempio di codice seguente illustra come rinominare un BLOB in un account di archiviazione ADLSv2.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var sourceFilePath = <source_file_path>;
var destinationFilePath = <destination_file_path>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Get a client to the the filesystem

var dataLakeFileSystemClient = dataLakeServiceClient.GetFileSystemClient(fileSystemName);
// Rename a file in the file system
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(sourceFilePath);
dataLakeFileClient.Rename(destinationFilePath);

Nota

Se sono stati definiti filtri per tenere traccia di soggetti specifici durante la creazione della connessione dati o durante la creazione manuale delle risorse di Griglia di eventi, questi filtri vengono applicati al percorso del file di destinazione.

Nota

L'attivazione dell'inserimento dopo un'operazione CopyBlob non è supportata per gli account di archiviazione in cui è abilitata la funzionalità dello spazio dei nomi gerarchico.

Importante

È consigliabile generare eventi di archiviazione da codice personalizzato e inviarli a Hub eventi. Se si sceglie di farlo, assicurarsi che gli eventi prodotti rispettino rigorosamente lo schema degli eventi di archiviazione e le specifiche di formato JSON appropriate.

Rimuovere una connessione dati di Griglia di eventi

Per rimuovere la connessione di Griglia di eventi dalla portale di Azure, seguire questa procedura:

Passare al cluster. Nel menu a sinistra selezionare Database. Selezionare quindi il database contenente la tabella di destinazione.
Dal menu a sinistra selezionare Connessioni dati. Selezionare quindi la casella di controllo accanto alla connessione dati di Griglia di eventi pertinente.
Nella barra dei menu in alto selezionare Elimina.

Elaborare i dati dall'hub eventi usando Analisi di flusso di Azure

Condividi tramite

Creare una connessione dati di Griglia di eventi per Azure Esplora dati

Prerequisiti

Creare una connessione dati a Griglia di eventi

Scegliere la destinazione per instradare gli eventi in

Creare una connessione dati

Usare la connessione dati di Griglia di eventi

Rinominare i BLOB

Rimuovere una connessione dati di Griglia di eventi

Commenti e suggerimenti

Risorse aggiuntive

Condividi tramite

Creare una connessione dati di Griglia di eventi per Azure Esplora dati

Prerequisiti

Creare una connessione dati a Griglia di eventi

Usare la connessione dati di Griglia di eventi

Rimuovere una connessione dati di Griglia di eventi

Contenuto correlato

Commenti e suggerimenti

Risorse aggiuntive