Een Event Grid-gegevensverbinding maken voor Azure Data Explorer

2025-06-30

In dit artikel leert u hoe u blobs uit uw opslagaccount opneemt in Azure Data Explorer met behulp van een Event Grid-gegevensverbinding. U maakt een Event Grid-gegevensverbinding waarmee een Azure Event Grid-abonnement wordt ingesteld. Het Event Grid-abonnement routeert gebeurtenissen van uw opslagaccount naar Azure Data Explorer via een Azure Event Hubs.

Opmerking

Invoer ondersteunt een maximale bestandsgrootte van 6 GB. Het wordt aanbevolen bestanden op te nemen tussen 100 MB en 1 GB.

Zie Een Event Grid-gegevensverbinding maken met SDK's voor meer informatie over het maken van de verbinding met behulp van de Kusto-SDK's.

Zie Verbinding maken met Event Grid voor algemene informatie over opname in Azure Data Explorer vanuit Event Grid.

Opmerking

Als u de beste prestaties wilt bereiken met de Event Grid-verbinding, stelt u de rawSizeBytes opname-eigenschap in via de metagegevens van de blob. Voor meer informatie, zie opname-eigenschappen.

Vereiste voorwaarden

Een Azure-abonnement. Maak een gratis Azure-account.
Een Azure Data Explorer-cluster en -database. Een cluster en database maken.
Een bestemmingstabel. Maak een tabel of gebruik een bestaande tabel.
Een invoertoewijzing voor de tabel.
Een opslagaccount. Een Event Grid-meldingsabonnement kan worden ingesteld op Azure Storage-accounts voor BlobStorage, StorageV2of Data Lake Storage Gen2.
Zorg ervoor dat de Event Grid-resourceprovider is geregistreerd.

Een Event Grid-gegevensverbinding maken

In deze sectie brengt u een verbinding tot stand tussen Event Grid en uw Azure Data Explorer-tabel.

Blader naar uw Azure Data Explorer-cluster in Azure Portal.
Selecteer onder Gegevensde optie Databases>TestDatabase.
Selecteer onder Instellingengegevensverbindingen en selecteer VervolgensEvent Grid (Blob Storage)toevoegen>.

Vul het gebeurtenisrastergegevensverbindingsformulier in met de volgende informatie:

Omgeving	Voorgestelde waarde	veldbeschrijving
Naam van gegevensverbinding	test-netwerkverbinding	De naam van de verbinding die u wilt maken in Azure Data Explorer. Namen van gegevensverbindingen kunnen alleen alfanumerieke, streepjes- en punttekens bevatten en maximaal 40 tekens lang zijn.
Abonnement van opslagaccount	Uw abonnements-id	De abonnements-id waar uw opslagaccount zich bevindt.
Gebeurtenistype	Blob gemaakt of Blob hernoemd	Het type gebeurtenis dat invoer op gang brengt. Blobs hernoemen wordt alleen ondersteund voor ADLSv2-opslag. Als u de naam van een blob wilt wijzigen, gaat u naar de blob in Azure Portal, klikt u met de rechtermuisknop op de blob en selecteert u Naam wijzigen. Ondersteunde typen zijn: Microsoft.Storage.BlobCreated of Microsoft.Storage.BlobRenamed.
Opslagaccount	gridteststorage1	De naam van het opslagaccount dat u eerder hebt gemaakt.
Creatie van bronnen	Automatisch	Het automatisch maken van resources betekent dat Azure Data Explorer een Event Grid-abonnement, een Event Hubs-naamruimte en een Event Hubs voor u maakt. Anders moet u deze resources handmatig maken om ervoor te zorgen dat de gegevensverbinding tot stand komt. Zie Handmatig resources maken voor Event Grid-opname

U kunt desgewenst specifieke Event Grid-onderwerpen bijhouden. Stel de filters voor de meldingen als volgt in:
- Het voorvoegselveld is het letterlijke voorvoegsel van het onderwerp. Wanneer het toegepaste patroon begint, kan het meerdere containers, mappen of blobs omvatten. Er zijn geen jokertekens toegestaan.
  - Als u een filter voor de blobcontainer wilt definiëren, moet het veld als volgt worden ingesteld: /blobServices/default/containers/[container prefix]
  - Als u een filter wilt definiëren voor een blobvoorvoegsel (of een map in Azure Data Lake Gen2), moet het veld als volgt worden ingesteld: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix]
- Het achtervoegselveld is het letterlijke achtervoegsel van de blob. Er zijn geen jokertekens toegestaan.
- Hoofdlettergevoelig veld geeft aan of de voorvoegsel- en achtervoegselfilters hoofdlettergevoelig zijn.
Zie Blob Storage-gebeurtenissen voor meer informatie over het filteren van gebeurtenissen.

U kunt desgewenst de instellingen voor gegevensroutering opgeven op basis van de volgende informatie. U hoeft niet alle instellingen voor gegevensroutering op te geven. Ook gedeeltelijke configuraties worden geaccepteerd.

Omgeving	Voorgestelde waarde	veldbeschrijving
Routering van de gegevens naar andere databases toestaan (multidatabasegegevensverbinding)	Niet toestaan	Schakel deze optie in als u de standaarddoeldatabase wilt overschrijven die is gekoppeld aan de gegevensverbinding. Zie Gebeurtenissenroutering voor meer informatie over databaseroutering.
Tabelnaam	Testtabel	De tabel die u hebt gemaakt in TestDatabase.
Gegevensopmaak	JSON	Ondersteunde indelingen zijn APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT en W3CLOG. Ondersteunde compressieopties zijn zip en gzip.
Koppelingsnaam	TestTable_mapping	De toewijzing die u hebt gemaakt in TestDatabase, waarmee binnenkomende gegevens worden toegewezen aan de kolomnamen en gegevenstypen van TestTable. Als dit niet is opgegeven, wordt een identiteitsgegevenstoewijzing die is afgeleid van het schema van de tabel automatisch gegenereerd.
Opmaakfouten negeren	Negeren	Schakel deze optie in als u indelingsfouten voor JSON-gegevensindeling wilt negeren.

Opmerking

Tabel- en toewijzingsnamen zijn hoofdlettergevoelig.

U kunt desgewenst onder Geavanceerde instellingen het type beheerde identiteit opgeven dat door uw gegevensverbinding wordt gebruikt. Standaard is Systeem-toegewezen geselecteerd.

Als u Door de gebruiker toegewezen selecteert, moet u handmatig een beheerde identiteit toewijzen. Als u een gebruiker selecteert die nog niet aan uw cluster is toegewezen, wordt deze automatisch toegewezen. Zie Beheerde identiteiten configureren voor uw Azure Data Explorer-cluster voor meer informatie.

Als u Geen selecteert, worden het opslagaccount en Event Hub geverifieerd via verbindingsreeksen. Deze methode wordt niet aanbevolen.

Selecteer Creëren

Blader naar uw opslagaccount in Azure Portal.
Selecteer Gebeurtenissen.
Selecteer op het tabblad Aan de slag het tabblad Azure Data Explorer .
In de tegel Continue gegevensopname maken, selecteer Maken.

Kies de bestemming om gebeurtenissen te routeren naar

Selecteer een cluster waarin u gegevens wilt opnemen.
Selecteer een doeldatabase.
Klik op Select.

Gegevensverbinding maken

Vul het formulier in met de volgende gegevens:

Omgeving	Voorgestelde waarde	veldbeschrijving
Naam van gegevensverbinding	test-netwerkverbinding	De naam van de verbinding die u wilt maken in Azure Data Explorer.
Abonnement van opslagaccount	Uw abonnements-id	De abonnements-id waar uw opslagaccount zich bevindt.
Gebeurtenistype	Blob gemaakt of Blob hernoemd	Het type gebeurtenis dat invoer op gang brengt. Blobs hernoemen wordt alleen ondersteund voor ADLSv2-opslag. Als u de naam van een blob wilt wijzigen, gaat u naar de blob in Azure Portal, klikt u met de rechtermuisknop op de blob en selecteert u Naam wijzigen. Ondersteunde typen zijn: Microsoft.Storage.BlobCreated of Microsoft.Storage.BlobRenamed.
Opslagaccount	gridteststorage1	Het opslagaccount van waaruit u deze wizard hebt geopend, wordt automatisch ingevuld.
Creatie van bronnen	Automatisch	Het automatisch maken van resources betekent dat Azure Data Explorer een Event Grid-abonnement, een Event Hubs-naamruimte en een Event Hubs voor u maakt. Anders moet u deze resources handmatig maken om ervoor te zorgen dat de gegevensverbinding tot stand komt. Zie Handmatig resources maken voor Event Grid-opname

U kunt desgewenst specifieke Event Grid-onderwerpen bijhouden. Stel de filters voor de meldingen als volgt in:
- Het voorvoegselveld is het letterlijke voorvoegsel van het onderwerp. Wanneer het toegepaste patroon begint, kan het meerdere containers, mappen of blobs omvatten. Er zijn geen jokertekens toegestaan.
  - Als u een filter voor de blobcontainer wilt definiëren, moet het veld als volgt worden ingesteld: /blobServices/default/containers/[container prefix]
  - Als u een filter wilt definiëren voor een blobvoorvoegsel (of een map in Azure Data Lake Gen2), moet het veld als volgt worden ingesteld: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix]
- Het achtervoegselveld is het letterlijke achtervoegsel van de blob. Er zijn geen jokertekens toegestaan.
- Hoofdlettergevoelig veld geeft aan of de voorvoegsel- en achtervoegselfilters hoofdlettergevoelig zijn.
Zie Blob Storage-gebeurtenissen voor meer informatie over het filteren van gebeurtenissen.

Omgeving	Voorgestelde waarde	veldbeschrijving
Routering van de gegevens naar andere databases toestaan (multidatabasegegevensverbinding)	Niet toestaan	Schakel deze optie in als u de standaarddoeldatabase wilt overschrijven die is gekoppeld aan de gegevensverbinding. Zie Gebeurtenissenroutering voor meer informatie over databaseroutering.
Tabelnaam	Testtabel	De tabel die u hebt gemaakt in TestDatabase.
Gegevensopmaak	JSON	Ondersteunde indelingen zijn APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT en W3CLOG. Ondersteunde compressieopties zijn zip en gzip.
Mappingnaam	TestTable_mapping	De toewijzing die u hebt gemaakt in TestDatabase, waarmee binnenkomende gegevens worden toegewezen aan de kolomnamen en gegevenstypen van TestTable. Als dit niet is opgegeven, wordt een identiteitsgegevenstoewijzing die is afgeleid van het schema van de tabel automatisch gegenereerd.
Opmaakfouten negeren	Negeren	Schakel deze optie in als u indelingsfouten voor JSON-gegevensindeling wilt negeren.

Opmerking

Tabel- en toewijzingsnamen zijn hoofdlettergevoelig.

U kunt desgewenst onder Geavanceerde instellingen het type beheerde identiteit opgeven dat door uw gegevensverbinding wordt gebruikt. Standaard is systeem toegewezen geselecteerd.

Als u Door de gebruiker toegewezen selecteert, moet u handmatig een beheerde identiteit toewijzen. Als u een gebruiker selecteert die nog niet aan uw cluster is toegewezen, wordt deze automatisch toegewezen. Zie Beheerde identiteiten configureren voor uw Azure Data Explorer-cluster voor meer informatie.

Als u Geen selecteert, worden het opslagaccount en Event Hub geverifieerd via verbindingsreeksen. Deze methode wordt niet aanbevolen.

Klik op Creëren.

In het volgende voorbeeld ziet u een Azure Resource Manager-sjabloon voor het toevoegen van een Event Grid-gegevensverbinding. U kunt de sjabloon bewerken en implementeren in Azure Portal met behulp van het formulier.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the event hub namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "StorageAccounts_storagedemo_name": {
            "type": "string",
            "defaultValue": "storagedemo",
            "metadata": {
                "description": "Specifies the storage account name"
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
             "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the resources"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the resources"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventGrid",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "storageAccountResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Storage/storageAccounts', parameters('StorageAccounts_storagedemo_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

De Event Grid-gegevensverbinding gebruiken

In deze sectie wordt beschreven hoe u opname activeert vanuit Azure Blob Storage of Azure Data Lake Gen 2 naar uw cluster na het maken van blobs of het wijzigen van de naam van de blob.

Selecteer het relevante tabblad op basis van het type opslag-SDK dat wordt gebruikt voor het uploaden van blobs.

Azure Blob-opslagruimte
Azure Data Lake

In het volgende codevoorbeeld wordt de Azure Blob Storage SDK gebruikt om een bestand te uploaden naar Azure Blob Storage. Tijdens het uploaden wordt de Event Grid-gegevensverbinding geactiveerd, waarmee de gegevens worden opgenomen in Azure Data Explorer.

var azureStorageAccountConnectionString = <storage_account_connection_string>;
var containerName = <container_name>;
var blobName = <blob_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
// Create a new container if it not already exists.
var azureStorageAccount = new BlobServiceClient(azureStorageAccountConnectionString);
var container = azureStorageAccount.GetBlobContainerClient(containerName);
container.CreateIfNotExists();
// Define blob metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new BlobUploadOptions
{
    Metadata = metadata,
};
// Upload the file.
var blob = container.GetBlobClient(blobName);
blob.Upload(localFileName, uploadOptions);

Opmerking

Azure Data Explorer verwijdert de blobs na opname niet. Behoud de blobs gedurende drie tot vijf dagen met behulp van de levenscyclus van Azure Blob Storage om blobverwijdering te beheren.

In het volgende codevoorbeeld wordt de Azure Data Lake SDK gebruikt om een bestand te uploaden naar Data Lake Storage Gen2. Tijdens het uploaden wordt de Event Grid-gegevensverbinding geactiveerd, waarmee de gegevens worden opgenomen in Azure Data Explorer.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var fileName = <file_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Create the filesystem.
var dataLakeFileSystemClient = dataLakeServiceClient.CreateFileSystem(fileSystemName).Value;
// Define file metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new DataLakeFileUploadOptions
{
    Metadata = metadata,
    Close = true // Note: The close option triggers the event being processed by the data connection.
};
// Upload the file.
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(fileName);
dataLakeFileClient.Upload(localFileName, uploadOptions);

Opmerking

Bij het uploaden van een bestand met de Azure Data Lake SDK heeft de eerste gebeurtenis voor het maken van bestanden een grootte van 0, die tijdens het opnemen van gegevens wordt genegeerd door Azure Data Explorer. Als u de juiste opname wilt garanderen, stelt u de Close parameter in op true. Deze parameter zorgt ervoor dat de uploadmethode een FlushAndClose-gebeurtenis activeert, waarmee wordt aangegeven dat de uiteindelijke update is gemaakt en dat de bestandsstroom wordt gesloten.
Om het verkeer dat afkomstig is van Event Grid te verminderen en de opname van gebeurtenissen in Azure Data Explorer te optimaliseren, raden we u aan om de data.api-sleutel te filteren om CreateFile-gebeurtenissen uit te sluiten. Dit zorgt ervoor dat gebeurtenissen voor het maken van bestanden met grootte 0 worden gefilterd, waardoor opnamefouten van leeg bestand worden voorkomen. Zie de Azure Data Lake-flush-methode voor meer informatie over leegmaken.
Het gebruik van de OpenWrite-API om naar een blob te schrijven wordt niet aanbevolen, omdat er een melding voor een lege blob wordt geactiveerd en een lege blobfout wordt veroorzaakt. Bovendien kunt u de stream slechts één keer leegmaken om dubbele meldingen en meerdere opnames van dezelfde blob te voorkomen.

Naam van blobs wijzigen

In ADLSv2 is het mogelijk om de naam van mappen te wijzigen. Het is echter belangrijk te weten dat het wijzigen van de naam van een map geen blob-hernoemingsgebeurtenissen activeert en niet leidt tot de start van de opname van blobs die in de map zitten. Als u ervoor wilt zorgen dat de opname van blobs plaatsvindt na het hernoemen van een map, moet u de afzonderlijke blobs binnen die map direct hernoemen.

In het volgende codevoorbeeld ziet u hoe u de naam van een blob wijzigt in een ADLSv2-opslagaccount.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var sourceFilePath = <source_file_path>;
var destinationFilePath = <destination_file_path>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Get a client to the the filesystem

var dataLakeFileSystemClient = dataLakeServiceClient.GetFileSystemClient(fileSystemName);
// Rename a file in the file system
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(sourceFilePath);
dataLakeFileClient.Rename(destinationFilePath);

Opmerking

Als u filters hebt gedefinieerd om specifieke onderwerpen bij te houden tijdens het maken van de gegevensverbinding of tijdens het handmatig maken van Event Grid-resources, worden deze filters toegepast op het pad van het doelbestand.

Opmerking

Het activeren van opname na een CopyBlob bewerking wordt niet ondersteund voor opslagaccounts waarvoor de hiërarchische naamruimtefunctie is ingeschakeld.

Belangrijk

Wij raden ten zeerste af om opslagevenementen te genereren op basis van aangepaste code en deze naar Event Hubs te verzenden. Als u ervoor kiest om dit te doen, moet u ervoor zorgen dat de gebeurtenissen die worden geproduceerd, strikt voldoen aan het juiste schema voor opslag gebeurtenissen en JSON-indelingsspecificaties.

Een Event Grid-gegevensverbinding verwijderen

Als u de Event Grid-verbinding uit Azure Portal wilt verwijderen, voert u de volgende stappen uit:

Ga naar uw cluster. Selecteer Databases in het linkermenu. Selecteer vervolgens de database waarin de doeltabel zich bevindt.
Selecteer Gegevensverbindingen in het linkermenu. Schakel vervolgens het selectievakje in naast de relevante Event Grid-gegevensverbinding.
Selecteer Verwijderen in de bovenste menubalk.

Gegevens van uw Event Hub verwerken met behulp van Azure Stream Analytics

Delen via

Een Event Grid-gegevensverbinding maken voor Azure Data Explorer

Vereiste voorwaarden

Een Event Grid-gegevensverbinding maken

De Event Grid-gegevensverbinding gebruiken

Een Event Grid-gegevensverbinding verwijderen

Verwante inhoud

Feedback

Aanvullende resources