Een Event Grid-gegevensverbinding maken voor Azure Data Explorer

Artikel
02/29/2024

In dit artikel leert u hoe u blobs uit uw opslagaccount kunt opnemen in Azure Data Explorer met behulp van een Event Grid-gegevensverbinding. U maakt een Event Grid-gegevensverbinding waarmee een Azure Event Grid-abonnement wordt ingesteld. Het Event Grid-abonnement routeert gebeurtenissen van uw opslagaccount naar Azure Data Explorer via een Azure Event Hubs.

Notitie

Opname ondersteunt een maximale bestandsgrootte van 6 GB. Het wordt aanbevolen om bestanden tussen 100 MB en 1 GB op te nemen.

Zie Een Event Grid-gegevensverbinding maken met SDK's voor meer informatie over het maken van de verbinding met behulp van de Kusto-SDK's.

Zie Verbinding maken met Event Grid voor algemene informatie over opname in Azure Data Explorer vanuit Event Grid.

Notitie

Als u de beste prestaties wilt bereiken met de Event Grid-verbinding, stelt u de rawSizeBytes opname-eigenschap in via de blobmetagegevens. Zie opname-eigenschappen voor meer informatie.

Vereisten

Een Azure-abonnement. Maak een gratis Azure-account.
Een Azure Data Explorer-cluster en -database. Maak een cluster en database.
Een doeltabel. Maak een tabel of gebruik een bestaande tabel.
Een opnametoewijzing voor de tabel.
Een opslagaccount. Een Event Grid-meldingsabonnement kan worden ingesteld voor Azure Storage-accounts voor BlobStorage, StorageV2of Data Lake Storage Gen2.
Laat de Event Grid-resourceprovider registreren.

Een Event Grid-gegevensverbinding maken

In deze sectie brengt u een verbinding tot stand tussen Event Grid en uw Azure Data Explorer-tabel.

Blader naar uw Azure Data Explorer-cluster in de Azure Portal.
Selecteer onder Gegevensde optie Databases>TestDatabase.
Selecteer onder Instellingende optie Gegevensverbindingen en selecteer vervolgens Gegevensverbinding> toevoegenEvent Grid (Blob-opslag).

Vul in het Event Grid-gegevensverbindingsformulier de volgende gegevens in:

Instelling	Voorgestelde waarde	Beschrijving van veld
Naam van gegevensverbinding	test-grid-connection	De naam van de verbinding die u wilt maken in Azure Data Explorer. Namen van gegevensverbindingen mogen alleen alfanumerieke tekens, streepjes en punten bevatten en maximaal 40 tekens lang zijn.
Abonnement van opslagaccount	Uw abonnements-id	De abonnements-id waar uw opslagaccount zich bevindt.
Gebeurtenistype	Blob gemaakt of naam van blob gewijzigd	Het type gebeurtenis dat opname activeert. Blob hernoemd wordt alleen ondersteund voor ADLSv2-opslag. Als u de naam van een blob wilt wijzigen, gaat u naar de blob in Azure Portal, klikt u met de rechtermuisknop op de blob en selecteert u Naam wijzigen. Ondersteunde typen zijn: Microsoft.Storage.BlobCreated of Microsoft.Storage.BlobRenamed.
Storage-account	gridteststorage1	De naam van het opslagaccount dat u eerder hebt gemaakt.
Resources maken	Automatisch	Als u het automatisch maken van resources inschakelt, betekent dit dat Azure Data Explorer een Event Grid-abonnement, een Event Hubs-naamruimte en een Event Hubs voor u maakt. Anders moet u deze resources handmatig maken om ervoor te zorgen dat de gegevensverbinding wordt gemaakt. Zie Handmatig resources maken voor Event Grid-opname

U kunt desgewenst specifieke Event Grid-onderwerpen bijhouden. Stel de filters voor de meldingen als volgt in:
- Voorvoegselveld is het letterlijke voorvoegsel van het onderwerp. Aangezien het toegepaste patroon begint met, kan het meerdere containers, mappen of blobs omvatten. Er zijn geen jokertekens zijn toegestaan.
  - Als u een filter voor de blobcontainer wilt definiëren, moet het veld als volgt worden ingesteld: /blobServices/default/containers/[container prefix].
  - Als u een filter wilt definiëren op een blobvoorvoegsel (of een map in Azure Data Lake Gen2), moet het veld als volgt worden ingesteld: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
- Achtervoegselveld is het letterlijke achtervoegsel van de blob. Er zijn geen jokertekens zijn toegestaan.
- Hoofdlettergevoelig veld geeft aan of het voorvoegsel en achtervoegselfilters hoofdlettergevoelig zijn
Zie Blob Storage-gebeurtenissen voor meer informatie over het filteren van gebeurtenissen.

Desgewenst kunt u de instellingen voor gegevensroutering opgeven op basis van de volgende informatie. U hoeft niet alle instellingen voor gegevensroutering op te geven. Gedeeltelijke instellingen worden ook geaccepteerd.

Instelling	Voorgestelde waarde	Beschrijving van veld
Routering van de gegevens naar andere databases toestaan (gegevensverbinding met meerdere databases)	Niet toestaan	Schakel deze optie in als u de standaarddoeldatabase die aan de gegevensverbinding is gekoppeld, wilt overschrijven. Zie Gebeurtenisroutering voor meer informatie over databaseroutering.
Tabelnaam	TestTable	De tabel die u hebt gemaakt in TestDatabase.
Gegevensindeling	JSON	Ondersteunde indelingen zijn APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT en W3CLOG. Ondersteunde compressieopties zijn Zip en Gzip.
Toewijzingsnaam	TestTable_mapping	De toewijzing die u hebt gemaakt in TestDatabase, waarmee binnenkomende gegevens worden toegewezen aan de kolomnamen en gegevenstypen van TestTable. Als dit niet is opgegeven, wordt een toewijzing van identiteitsgegevens die is afgeleid van het schema van de tabel automatisch gegenereerd.
Indelingsfouten negeren	Negeren	Schakel deze optie in als u indelingsfouten voor de JSON-gegevensindeling wilt negeren.

Notitie

Tabel- en toewijzingsnamen zijn hoofdlettergevoelig.

U kunt desgewenst onder Geavanceerde instellingen het type beheerde identiteit opgeven dat wordt gebruikt door uw gegevensverbinding. Standaard is Door het systeem toegewezen geselecteerd.

Als u Door de gebruiker toegewezen selecteert, moet u handmatig een beheerde identiteit toewijzen. Als u een gebruiker selecteert die nog niet is toegewezen aan uw cluster, wordt deze automatisch toegewezen. Zie Beheerde identiteiten configureren voor uw Azure Data Explorer-cluster voor meer informatie.

Als u Geen selecteert, worden het opslagaccount en de Event Hub geverifieerd via verbindingsreeksen. Deze methode wordt niet aanbevolen.

Selecteer Maken

Blader naar uw opslagaccount in de Azure Portal.
Selecteer Gebeurtenissen.
Selecteer op het tabblad Aan de slag het tabblad Azure Data Explorer.
Selecteer in de tegel Continue gegevensopname maken de optie Maken.

Kies de bestemming waar u gebeurtenissen naar wilt routeren

Selecteer een cluster waarin u gegevens wilt opnemen.
Selecteer een doeldatabase.
Kies Selecteren.

Gegevensverbinding maken

Vul het formulier in met de volgende gegevens:

Instelling	Voorgestelde waarde	Beschrijving van veld
Naam van gegevensverbinding	test-grid-connection	De naam van de verbinding die u wilt maken in Azure Data Explorer.
Abonnement van opslagaccount	Uw abonnements-id	De abonnements-id waar uw opslagaccount zich bevindt.
Gebeurtenistype	Blob gemaakt of naam van blob gewijzigd	Het type gebeurtenis dat opname activeert. De naam van de blob wordt alleen ondersteund voor ADLSv2-opslag. Als u de naam van een blob wilt wijzigen, gaat u naar de blob in Azure Portal, klikt u met de rechtermuisknop op de blob en selecteert u Naam wijzigen. Ondersteunde typen zijn: Microsoft.Storage.BlobCreated of Microsoft.Storage.BlobRenamed.
Storage-account	gridteststorage1	Het opslagaccount van waaruit u deze wizard hebt geopend, wordt automatisch ingevuld.
Resources maken	Automatisch	Als u het automatisch maken van resources inschakelt, betekent dit dat Azure Data Explorer een Event Grid-abonnement, een Event Hubs-naamruimte en een Event Hubs voor u maakt. Anders moet u deze resources handmatig maken om ervoor te zorgen dat de gegevensverbinding wordt gemaakt. Zie Handmatig resources maken voor Event Grid-opname

U kunt desgewenst specifieke Event Grid-onderwerpen bijhouden. Stel de filters voor de meldingen als volgt in:
- Voorvoegselveld is het letterlijke voorvoegsel van het onderwerp. Als het toegepaste patroon begint met, kan het meerdere containers, mappen of blobs omvatten. Er zijn geen jokertekens zijn toegestaan.
  - Als u een filter voor de blobcontainer wilt definiëren, moet het veld als volgt worden ingesteld: /blobServices/default/containers/[container prefix].
  - Als u een filter wilt definiëren op een blob-voorvoegsel (of een map in Azure Data Lake Gen2), moet het veld als volgt worden ingesteld: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
- Achtervoegselveld is het letterlijke achtervoegsel van de blob. Er zijn geen jokertekens zijn toegestaan.
- Hoofdlettergevoelig veld geeft aan of de voorvoegsel- en achtervoegselfilters hoofdlettergevoelig zijn
Zie Blob Storage-gebeurtenissen voor meer informatie over het filteren van gebeurtenissen.

Instelling	Voorgestelde waarde	Beschrijving van veld
Routering van de gegevens naar andere databases toestaan (gegevensverbinding met meerdere databases)	Niet toestaan	Schakel deze optie in als u de standaarddoeldatabase wilt overschrijven die is gekoppeld aan de gegevensverbinding. Zie Gebeurtenisroutering voor meer informatie over databaseroutering.
Tabelnaam	TestTable	De tabel die u hebt gemaakt in TestDatabase.
Gegevensindeling	JSON	Ondersteunde indelingen zijn APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT en W3CLOG. Ondersteunde compressieopties zijn Zip en Gzip.
Toewijzingsnaam	TestTable_mapping	De toewijzing die u hebt gemaakt in TestDatabase, waarmee binnenkomende gegevens worden toegewezen aan de kolomnamen en gegevenstypen van TestTable. Als dit niet is opgegeven, wordt een toewijzing van identiteitsgegevens die is afgeleid van het schema van de tabel automatisch gegenereerd.
Indelingsfouten negeren	Negeren	Schakel deze optie in als u indelingsfouten voor de JSON-gegevensindeling wilt negeren.

Notitie

Tabel- en toewijzingsnamen zijn hoofdlettergevoelig.

U kunt desgewenst onder Geavanceerde instellingen het type beheerde identiteit opgeven dat wordt gebruikt door uw gegevensverbinding. Standaard is Door het systeem toegewezen geselecteerd.

Als u Door de gebruiker toegewezen selecteert, moet u handmatig een beheerde identiteit toewijzen. Als u een gebruiker selecteert die nog niet is toegewezen aan uw cluster, wordt deze automatisch toegewezen. Zie Beheerde identiteiten configureren voor uw Azure Data Explorer-cluster voor meer informatie.

Als u Geen selecteert, worden het opslagaccount en de Event Hub geverifieerd via verbindingsreeksen. Deze methode wordt niet aanbevolen.

Selecteer Maken.

In het volgende voorbeeld ziet u een Azure Resource Manager-sjabloon voor het toevoegen van een Event Grid-gegevensverbinding. U kunt de sjabloon bewerken en implementeren in de Azure Portal met behulp van het formulier.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the event hub namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "StorageAccounts_storagedemo_name": {
            "type": "string",
            "defaultValue": "storagedemo",
            "metadata": {
                "description": "Specifies the storage account name"
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
             "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the resources"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the resources"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventGrid",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "storageAccountResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Storage/storageAccounts', parameters('StorageAccounts_storagedemo_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

De Event Grid-gegevensverbinding gebruiken

In deze sectie wordt beschreven hoe u opname van Azure Blob Storage of Azure Data Lake Gen 2 naar uw cluster activeert na het maken of wijzigen van de naam van een blob.

Selecteer het relevante tabblad op basis van het type opslag-SDK dat wordt gebruikt voor het uploaden van blobs.

Azure Blob Storage
Azure Data Lake

In het volgende codevoorbeeld wordt de Azure Blob Storage SDK gebruikt om een bestand te uploaden naar Azure Blob Storage. De upload activeert de Event Grid-gegevensverbinding, die de gegevens opneemt in Azure Data Explorer.

var azureStorageAccountConnectionString = <storage_account_connection_string>;
var containerName = <container_name>;
var blobName = <blob_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
// Create a new container if it not already exists.
var azureStorageAccount = new BlobServiceClient(azureStorageAccountConnectionString);
var container = azureStorageAccount.GetBlobContainerClient(containerName);
container.CreateIfNotExists();
// Define blob metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new BlobUploadOptions
{
    Metadata = metadata,
};
// Upload the file.
var blob = container.GetBlobClient(blobName);
blob.Upload(localFileName, uploadOptions);

Notitie

Azure Data Explorer verwijdert de blobs niet na opname. Bewaar de blobs drie tot vijf dagen met behulp van de levenscyclus van Azure Blob Storage om het verwijderen van blobs te beheren.

In het volgende codevoorbeeld wordt de Azure Data Lake SDK gebruikt om een bestand te uploaden naar Data Lake Storage Gen2. Tijdens het uploaden wordt de Event Grid-gegevensverbinding geactiveerd, waardoor de gegevens worden opgenomen in Azure Data Explorer.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var fileName = <file_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Create the filesystem.
var dataLakeFileSystemClient = dataLakeServiceClient.CreateFileSystem(fileSystemName).Value;
// Define file metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new DataLakeFileUploadOptions
{
    Metadata = metadata,
    Close = true // Note: The close option triggers the event being processed by the data connection.
};
// Upload the file.
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(fileName);
dataLakeFileClient.Upload(localFileName, uploadOptions);

Notitie

Wanneer u een bestand uploadt met de Azure Data Lake SDK, heeft de eerste gebeurtenis voor het maken van een bestand een grootte van 0. Deze wordt genegeerd door Azure Data Explorer tijdens gegevensopname. Stel de Close parameter in op om de juiste opname te truegaranderen. Deze parameter zorgt ervoor dat de uploadmethode een FlushAndClose-gebeurtenis activeert, waarmee wordt aangegeven dat de laatste update is uitgevoerd en dat de bestandsstroom is gesloten.
Als u verkeer dat afkomstig is van Event Grid wilt verminderen en de opname van gebeurtenissen in Azure Data Explorer wilt optimaliseren, raden we u aan de sleutel data.api te filteren om CreateFile-gebeurtenissen uit te sluiten. Dit zorgt ervoor dat gebeurtenissen voor het maken van bestanden met grootte 0 worden uitgefilterd, waardoor opnamefouten van leeg bestand worden voorkomen. Zie Azure Data Lake flush method (Azure Data Lake-flushmethode) voor meer informatie over het leegmaken.

De naam van blobs wijzigen

In ADLSv2 is het mogelijk om de naam van mappen te wijzigen. Het is echter belangrijk om te weten dat het wijzigen van de naam van een map gebeurtenissen met een blobnaam niet activeert of de opname van blobs in de map initieert. Als u ervoor wilt zorgen dat blobs worden opgenomen nadat u de naam van een map hebt gewijzigd, moet u de naam van de afzonderlijke blobs in de map rechtstreeks wijzigen.

In het volgende codevoorbeeld ziet u hoe u de naam van een blob wijzigt in een ADLSv2-opslagaccount.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var sourceFilePath = <source_file_path>;
var destinationFilePath = <destination_file_path>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Get a client to the the filesystem

var dataLakeFileSystemClient = dataLakeServiceClient.GetFileSystemClient(fileSystemName);
// Rename a file in the file system
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(sourceFilePath);
dataLakeFileClient.Rename(destinationFilePath);

Notitie

Als u filters hebt gedefinieerd om specifieke onderwerpen bij te houden tijdens het maken van de gegevensverbinding of tijdens het handmatig maken van Event Grid-resources, worden deze filters toegepast op het pad van het doelbestand.

Notitie

Het activeren van opname na een CopyBlob bewerking wordt niet ondersteund voor opslagaccounts waarvoor de hiërarchische naamruimtefunctie is ingeschakeld.

Een Event Grid-gegevensverbinding verwijderen

Als u de Event Grid-verbinding wilt verwijderen uit de Azure Portal, voert u de volgende stappen uit:

Ga naar uw cluster. Selecteer Databases in het menu links. Selecteer vervolgens de database die de doeltabel bevat.
Selecteer Gegevensverbindingen in het menu links. Schakel vervolgens het selectievakje naast de relevante Event Grid-gegevensverbinding in.
Selecteer Verwijderen in de bovenste menubalk.

Gegevens uit uw Event Hub verwerken met behulp van Azure Stream Analytics

Delen via

Een Event Grid-gegevensverbinding maken voor Azure Data Explorer

Vereisten

Een Event Grid-gegevensverbinding maken

Kies de bestemming waar u gebeurtenissen naar wilt routeren

Gegevensverbinding maken

De Event Grid-gegevensverbinding gebruiken

De naam van blobs wijzigen

Een Event Grid-gegevensverbinding verwijderen

Feedback

Aanvullende resources

Delen via

Een Event Grid-gegevensverbinding maken voor Azure Data Explorer

Vereisten

Een Event Grid-gegevensverbinding maken

De Event Grid-gegevensverbinding gebruiken

Een Event Grid-gegevensverbinding verwijderen

Gerelateerde inhoud

Feedback

Aanvullende resources