Event Grid-adatkapcsolat létrehozása az Azure Data Explorerhez

2025-06-30

Ebből a cikkből megtudhatja, hogyan lehet blobokat beszúrni a tárfiókból az Azure Data Explorerbe event Grid-adatkapcsolat használatával. Létre fog hozni egy Event Grid-adatkapcsolatot, amely beállít egy Azure Event Grid-előfizetést. Az Event Grid-előfizetés egy Azure Event Hubson keresztül irányítja át az eseményeket a tárfiókból az Azure Data Explorerbe.

Megjegyzés:

A betöltés legfeljebb 6 GB fájlméretet támogat. A javaslat a fájlok 100 MB és 1 GB közötti betöltése.

A Kusto SDK-k használatával történő kapcsolat létrehozásához lásd: Event Grid-adatkapcsolat létrehozása SDK-kkal.

Az Azure Data Explorerbe az Event Gridből való betöltéssel kapcsolatos általános információkért lásd: Csatlakozás az Event Gridhez.

Megjegyzés:

Az Event Grid-kapcsolaton keresztüli legjobb teljesítmény eléréséhez állítsa be a rawSizeBytes betöltési tulajdonságot a blob metaadatain keresztül. További információkért lásd a feldolgozási tulajdonságokat.

Előfeltételek

Egy Azure-előfizetés. Hozzon létre egy ingyenes Azure-fiókot.
Egy Azure Data Explorer-fürt és adatbázis. Hozzon létre egy klasztert és egy adatbázist.
Célállomás táblázat. Hozzon létre egy táblát , vagy használjon egy meglévő táblát.
A táblázat betöltési leképezése .
Egy tárfiók. Event Grid-értesítési előfizetés beállítható az Azure Storage-fiókokon a BlobStorageStorageV2. generációs Data Lake Storage-fiókhoz.
Regisztrálja az Event Grid erőforrás-szolgáltatót.

Event Grid-adatkapcsolat létrehozása

Ebben a szakaszban kapcsolatot létesít az Event Grid és az Azure Data Explorer-tábla között.

Keresse meg az Azure Data Explorer-fürtöt az Azure Portalon.
Az Adatok csoportban válassza az Adatbázisok>TestDatabase lehetőséget.
A Beállítások területen válassza az Adatkapcsolatok, majd az Adatkapcsolat> hozzáadásaEvent Grid (Blob Storage) lehetőséget.

Töltse ki az Event Grid adatkapcsolati űrlapját a következő információkkal:

Beállítás	Ajánlott érték	Mező leírása
Adatkapcsolat neve	teszt-hálózati kapcsolat	Az Azure Data Explorerben létrehozni kívánt kapcsolat neve. Az adatkapcsolatnevek csak alfanumerikus, kötőjel- és pont karaktereket tartalmazhatnak, és legfeljebb 40 karakter hosszúságúak lehetnek.
Tárfiók-előfizetés	Saját előfizetés azonosítója	Az előfizetés azonosítója, ahol a tárfiók található.
Esemény típusa	Blob létrehozva vagy Blob átnevezve	A bevitel kiváltó esemény típusa. Az átnevezett blobok csak az ADLSv2-tárolók esetében támogatottak. Blob átnevezéséhez keresse meg a blobot az Azure Portalon, kattintson a jobb gombbal a blobra, és válassza az Átnevezés lehetőséget. Támogatott típusok: Microsoft.Storage.BlobCreated vagy Microsoft.Storage.BlobRenamed.
Tároló fiók	gridteststorage1	A korábban létrehozott tárfiók neve.
Erőforrások létrehozása	Automatikus	Az automatikus erőforrás-létrehozás bekapcsolása azt jelenti, hogy az Azure Data Explorer létrehoz egy Event Grid-előfizetést, egy Event Hubs-névteret és egy Event Hubsot. Ellenkező esetben manuálisan kell létrehoznia ezeket az erőforrásokat az adatkapcsolat létrehozásához. Lásd : Erőforrások manuális létrehozása az Event Grid-betöltéshez

Lehetőség van adott Event Grid-témák nyomon követésére is. Az értesítések szűrőinek beállítása az alábbiak szerint:
- Az előtagmező a tárgy szó szerinti előtagja. Mivel az alkalmazott minta "kezdődik", több tárolóra, mappára vagy blobra is kiterjedhet. A helyettesítő karakterek nem megengedettek.
  - Ha szűrőt szeretne definiálni a blobtárolón, a mezőt a következőképpen kell beállítani: /blobServices/default/containers/[container prefix].
  - Ha egy blobelőtagon (vagy az Azure Data Lake Gen2 egy mappáján) szeretne szűrőt definiálni, a mezőt a következőképpen kell beállítani: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix]
- Az utótag mező a blob literális utótagja. A helyettesítő karakterek nem megengedettek.
- Érzékeny a kis- és nagybetűkre mező azt jelzi, hogy az előtag- és utótagszűrők érzékenyek-e a kis- és nagybetűkre
Az események szűrésével kapcsolatos további információkért lásd a Blob Storage-eseményeket.

Opcionálisan megadhatja az adatútválasztási beállításokat az alábbi információk szerint. Nem kell megadnia az összes adatútválasztási beállítást. Részleges beállításokat is elfogadunk.

Beállítás	Ajánlott érték	Mező leírása
Adatok átirányításának engedélyezése más adatbázisokhoz (többadatbázisos adatkapcsolat)	Ne engedd	Az adatkapcsolathoz társított alapértelmezett céladatbázis felülbírálásához kapcsolja be ezt a beállítást. Az adatbázis-útválasztásról további információt az Események útválasztása című témakörben talál.
Table name (Táblázat neve)	Teszttábla	A TestDatabase adatbázisban létrehozott tábla.
Adatformátum	JSON	Támogatott formátumok: APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT és W3CLOG. A támogatott tömörítési lehetőségek a zip és a gzip.
Leképezés neve	TestTable_mapping	A TestDatabase-ben létrehozott leképezés, amely leképezi a bejövő adatokat a TestTable oszlopneveihez és adattípusaihoz. Ha nincs megadva, a rendszer automatikusan létrehoz egy, a tábla sémájából származtatott identitásadat-leképezést .
Formátumhibák figyelmen kívül hagyása	Semmibe vesz	Kapcsolja be ezt a beállítást, ha figyelmen kívül szeretné hagyni a JSON-adatformátum formázási hibáit.

Megjegyzés:

A tábla- és leképezésnevek megkülönböztetik a kis- és nagybetűket.

A Speciális beállítások területen megadhatja az adatkapcsolat által használt felügyelt identitástípust . Alapértelmezés szerint a rendszer által hozzárendelt rendszer van kiválasztva.

Ha a Felhasználó által hozzárendelt lehetőséget választja, manuálisan kell hozzárendelnie egy felügyelt identitást. Ha olyan felhasználót választ ki, aki még nincs hozzárendelve a fürthöz, azt a rendszer automatikusan hozzárendeli. További információért lásd: Az Azure Data Explorer fürthöz tartozó felügyelt identitások konfigurálása.

Ha a Nincs lehetőséget választja, a tárfiók és az Event Hub hitelesítése kapcsolati sztringekkel történik. Ez a módszer nem ajánlott.

Válassza a lehetőséget, hozza létre a lehetőséget

Nyissa meg a tárolófiókját az Azure portálon.
Válassza az Események elemet.
Az Első lépések lapon válassza az Azure Data Explorer lapot.
A Folyamatos adatbetöltés létrehozása csempén válassza a Létrehozás lehetőséget.

Válassza ki a célhelyet az események átirányításához

Válassza ki azt a fürtöt, amelyben adatokat szeretne betölteni.
Válasszon ki egy céladatbázist.
Válassza Válassza.

Adatkapcsolat létrehozása

Adja meg az alábbi adatokat az űrlapon:

Beállítás	Ajánlott érték	Mező leírása
Adatkapcsolat neve	teszt-hálózati kapcsolat	Az Azure Data Explorerben létrehozni kívánt kapcsolat neve.
Tárfiók-előfizetés	Saját előfizetés azonosítója	Az előfizetés azonosítója, ahol a tárfiók található.
Esemény típusa	Blob létrehozva vagy Blob átnevezve	A bevitel kiváltó esemény típusa. Az átnevezett blobok csak az ADLSv2-tárolók esetében támogatottak. Blob átnevezéséhez keresse meg a blobot az Azure Portalon, kattintson a jobb gombbal a blobra, és válassza az Átnevezés lehetőséget. Támogatott típusok: Microsoft.Storage.BlobCreated vagy Microsoft.Storage.BlobRenamed.
Tároló fiók	gridteststorage1	A rendszer automatikusan kitölti azt a tárhely fiókot, amelyből a varázslót elérte.
Erőforrások létrehozása	Automatikus	Az automatikus erőforrás-létrehozás bekapcsolása azt jelenti, hogy az Azure Data Explorer létrehoz egy Event Grid-előfizetést, egy Event Hubs-névteret és egy Event Hubsot. Ellenkező esetben manuálisan kell létrehoznia ezeket az erőforrásokat az adatkapcsolat létrehozásához. Lásd : Erőforrások manuális létrehozása az Event Grid-betöltéshez

Lehetőség van adott Event Grid-témák nyomon követésére is. Az értesítések szűrőinek beállítása az alábbiak szerint:
- Az előtagmező a tárgy szó szerinti előtagja. Mivel az alkalmazott minta kezdődik, több tárolóra, mappára vagy blobra is kiterjedhet. A helyettesítő karakterek nem megengedettek.
  - Ha szűrőt szeretne definiálni a blobtárolón, a mezőt a következőképpen kell beállítani: /blobServices/default/containers/[container prefix].
  - Ha egy blobelőtagon (vagy az Azure Data Lake Gen2 egy mappáján) szeretne szűrőt definiálni, a mezőt a következőképpen kell beállítani: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix]
- Az utótag mező a blob literális utótagja. A helyettesítő karakterek nem megengedettek.
- Érzékeny a kis- és nagybetűkre mező azt jelzi, hogy az előtag- és utótagszűrők érzékenyek-e a kis- és nagybetűkre
Az események szűrésével kapcsolatos további információkért lásd a Blob Storage-eseményeket.

Beállítás	Ajánlott érték	Mező leírása
Adatok átirányításának engedélyezése más adatbázisokhoz (többadatbázisos adatkapcsolat)	Ne engedd	Ha felül szeretné bírálni az adatkapcsolathoz társított alapértelmezett céladatbázist, válassza ezt a beállítást. Az adatbázis-útválasztásról további információt az Események útválasztása című témakörben talál.
Table name (Táblázat neve)	Teszttábla	A TestDatabase adatbázisban létrehozott tábla.
Adatformátum	JSON	Támogatott formátumok: APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT és W3CLOG. A támogatott tömörítési lehetőségek a zip és a gzip.
Leképezés neve	TestTable_mapping	A TestDatabase-ben létrehozott leképezés, amely leképezi a bejövő adatokat a TestTable oszlopneveihez és adattípusaihoz. Ha nincs megadva, a rendszer automatikusan létrehoz egy, a tábla sémájából származtatott identitásadat-leképezést .
Formátumhibák figyelmen kívül hagyása	Semmibe vesz	Kapcsolja be ezt a beállítást, ha figyelmen kívül szeretné hagyni a JSON-adatformátum formázási hibáit.

Megjegyzés:

A tábla- és leképezésnevek megkülönböztetik a kis- és nagybetűket.

A Speciális beállítások területen megadhatja az adatkapcsolat által használt felügyelt identitástípust . Alapértelmezés szerint a rendszer által hozzárendelt rendszer van kiválasztva.

Ha a Felhasználó által hozzárendelt lehetőséget választja, manuálisan kell hozzárendelnie egy felügyelt identitást. Ha olyan felhasználót választ ki, aki még nincs hozzárendelve a fürthöz, az automatikusan ki lesz rendelve. További információért lásd: Felügyelt identitások konfigurálása az Azure Data Explorer-fürthöz.

Ha a Nincs lehetőséget választja, a tárfiók és az Event Hub hitelesítése kapcsolati sztringekkel történik. Ez a módszer nem ajánlott.

Válassza a Create gombot.

Az alábbi példa egy Event Grid-adatkapcsolat hozzáadására szolgáló Azure Resource Manager-sablont mutat be. A sablont az űrlap használatával szerkesztheti és helyezheti üzembe az Azure Portalon.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the event hub namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "StorageAccounts_storagedemo_name": {
            "type": "string",
            "defaultValue": "storagedemo",
            "metadata": {
                "description": "Specifies the storage account name"
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
             "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the resources"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the resources"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventGrid",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "storageAccountResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Storage/storageAccounts', parameters('StorageAccounts_storagedemo_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Az Event Grid-adatkapcsolat használata

Ez a szakasz bemutatja, hogyan indíthat adatbetöltést Azure Blob Storage-ból vagy Azure Data Lake Gen 2-ből a fürtbe a blob létrehozását vagy a blob átnevezését követően.

Válassza ki a megfelelő lapot a blobok feltöltéséhez használt tárolási SDK típusától függően.

Azure Blob-tároló
Azure Data Lake

Az alábbi kódminta az Azure Blob Storage SDK használatával tölt fel egy fájlt az Azure Blob Storage-ba. A feltöltés aktiválja az Event Grid adatkapcsolatot, amely betölti az adatokat az Azure Data Explorerbe.

var azureStorageAccountConnectionString = <storage_account_connection_string>;
var containerName = <container_name>;
var blobName = <blob_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
// Create a new container if it not already exists.
var azureStorageAccount = new BlobServiceClient(azureStorageAccountConnectionString);
var container = azureStorageAccount.GetBlobContainerClient(containerName);
container.CreateIfNotExists();
// Define blob metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new BlobUploadOptions
{
    Metadata = metadata,
};
// Upload the file.
var blob = container.GetBlobClient(blobName);
blob.Upload(localFileName, uploadOptions);

Megjegyzés:

Az Azure Data Explorer nem törli a blobokat a betöltés után. Tartsa meg a blobokat 3–5 napig az Azure Blob Storage életciklusának használatával a blobok törlésének kezeléséhez.

Az alábbi kódminta az Azure Data Lake SDK használatával tölt fel egy fájlt a Data Lake Storage Gen2-be. A feltöltés aktiválja az Event Grid adatkapcsolatot, amely betölti az adatokat az Azure Data Explorerbe.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var fileName = <file_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Create the filesystem.
var dataLakeFileSystemClient = dataLakeServiceClient.CreateFileSystem(fileSystemName).Value;
// Define file metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new DataLakeFileUploadOptions
{
    Metadata = metadata,
    Close = true // Note: The close option triggers the event being processed by the data connection.
};
// Upload the file.
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(fileName);
dataLakeFileClient.Upload(localFileName, uploadOptions);

Megjegyzés:

Amikor feltölt egy fájlt az Azure Data Lake SDK-val, a kezdeti fájllétrehozási esemény mérete 0, amelyet az Azure Data Explorer figyelmen kívül hagy az adatbetöltés során. A megfelelő betöltés biztosításához állítsa be a Close paramétert a true értékre. Ez a paraméter egy FlushAndClose eseményt indít el a feltöltési metódusban, ami azt jelzi, hogy a végleges frissítés megtörtént, és a fájlstream bezárult.
Az Event Gridből érkező forgalom csökkentése és az események Azure Data Explorerbe való betöltésének optimalizálása érdekében javasoljuk, hogy szűrje a data.api kulcsot a CreateFile-események kizárásához. Ez biztosítja, hogy a 0-s méretű fájllétrehozási események kiszűrhetők legyenek, megakadályozva az üres fájl betöltési hibáit. A kiürítéssel kapcsolatos további információkért lásd az Azure Data Lake flush metódusát.
Az "OpenWrite" API használata a blobba való írásra nem ajánlott, mivel értesítést indít üres blob esetén, és üres blobhibát okoz. Emellett csak egyszer ürítse ki a streamet, hogy megakadályozza az ismétlődő értesítéseket és ugyanazon blob több betöltését.

Blobok átnevezése

Az ADLSv2-ben átnevezheti a könyvtárakat. Fontos azonban megjegyezni, hogy a címtár átnevezése nem váltja ki a blob átnevezett eseményeit, és nem kezdeményezi a címtárban található blobok betöltését. Ha a címtár átnevezése után szeretné biztosítani a blobok betöltését, akkor közvetlenül nevezze át az egyes blobokat a címtárban.

Az alábbi kódminta bemutatja, hogyan nevezhet át blobokat egy ADLSv2-tárfiókban.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var sourceFilePath = <source_file_path>;
var destinationFilePath = <destination_file_path>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Get a client to the the filesystem

var dataLakeFileSystemClient = dataLakeServiceClient.GetFileSystemClient(fileSystemName);
// Rename a file in the file system
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(sourceFilePath);
dataLakeFileClient.Rename(destinationFilePath);

Megjegyzés:

Ha meghatározott szűrőket adott témák nyomon követésére az adatkapcsolat létrehozásakor vagy az Event Grid-erőforrások manuális létrehozásakor, ezek a szűrők a célfájl elérési útján lesznek alkalmazva.

Megjegyzés:

Az CopyBlob művelet utáni adatbetöltés indítása nem támogatott azon tárfiókok esetében, amelyeknél a hierarchikus névtér funkció engedélyezve van.

Fontos

Nagy mértékben elriasztjuk a Storage-események egyéni kódból való létrehozását és az Event Hubsba való küldését. Ha ezt választja, győződjön meg arról, hogy a létrehozott események szigorúan megfelelnek a megfelelő Storage Events-sémának és A JSON formátum specifikációinak.

Event Grid-adatkapcsolat eltávolítása

Ha el szeretné távolítani az Event Grid-kapcsolatot az Azure Portalról, hajtsa végre a következő lépéseket:

Menjen a klaszterhez. A bal oldali menüben válassza az Adatbázisok lehetőséget. Ezután válassza ki a céltáblát tartalmazó adatbázist.
A bal oldali menüben válassza az Adatkapcsolatok lehetőséget. Ezután jelölje be a megfelelő Event Grid-adatkapcsolat melletti jelölőnégyzetet.
A felső menüsávon válassza a Törlés lehetőséget.

Adatok feldolgozása az eseményközpontból az Azure Stream Analytics használatával

Megosztás a következőn keresztül:

Event Grid-adatkapcsolat létrehozása az Azure Data Explorerhez

Előfeltételek

Event Grid-adatkapcsolat létrehozása

Az Event Grid-adatkapcsolat használata

Event Grid-adatkapcsolat eltávolítása

Kapcsolódó tartalom

Visszajelzés

További források