Event Grid-adatkapcsolat létrehozása az Azure Data Explorer

Cikk
03/05/2024

Ebből a cikkből megtudhatja, hogyan lehet blobokat beszúrni a tárfiókból az Azure Data Explorer egy Event Grid-adatkapcsolat használatával. Létre fog hozni egy Event Grid-adatkapcsolatot, amely beállít egy Azure Event Grid-előfizetést. Az Event Grid-előfizetés egy Azure Event Hubs keresztül irányítja át az eseményeket a tárfiókból az Azure Data Explorer.

Megjegyzés

Legfeljebb 6 GB méretű fájl tölthető be. A javaslat a 100 MB és 1 GB közötti fájlok betöltése.

A kapcsolat Kusto SDK-k használatával történő létrehozásáról az Event Grid-adatkapcsolat létrehozása SDK-kkal című témakörben olvashat.

Az Azure Data Explorer Event Gridből való betöltésére vonatkozó általános információkért lásd: Csatlakozás az Event Gridhez.

Megjegyzés

Ha az Event Grid-kapcsolattal a legjobb teljesítményt szeretné elérni, állítsa be a rawSizeBytes betöltési tulajdonságot a blob metaadatain keresztül. További információ: Betöltési tulajdonságok.

Előfeltételek

Azure-előfizetés. Hozzon létre egy ingyenes Azure-fiókot.
Egy Azure-Data Explorer-fürt és -adatbázis. Hozzon létre egy fürtöt és egy adatbázist.
Céltábla. Hozzon létre egy táblát , vagy használjon egy meglévő táblát.
A tábla betöltési leképezése .
Egy tárfiók. Event Grid-értesítési előfizetés beállítható az Azure Storage-fiókokban BlobStoragea , StorageV2vagy Data Lake Storage Gen2 esetében.
Regisztrálja az Event Grid erőforrás-szolgáltatót.

Event Grid-adatkapcsolat létrehozása

Ebben a szakaszban kapcsolatot fog létesíteni az Event Grid és az Azure Data Explorer tábla között.

Keresse meg az Azure Data Explorer-fürtöt a Azure Portal.
Az Adatok területen válassza az Adatbázisok>TestDatabase lehetőséget.
A Beállítások területen válassza az Adatkapcsolatok, majd az Adatkapcsolat> hozzáadásaEvent Grid (Blob Storage) lehetőséget.

Töltse ki az Event Grid adatkapcsolati űrlapját a következő információkkal:

Beállítás	Ajánlott érték	Mező leírása
Adatkapcsolat neve	test-grid-connection	Az Azure Data Explorer létrehozni kívánt kapcsolat neve. Az adatkapcsolatok nevei csak alfanumerikus, kötőjeles és pont karaktereket tartalmazhatnak, és legfeljebb 40 karakter hosszúságúak lehetnek.
Tárfiók-előfizetés	Az előfizetés azonosítója	Az előfizetés azonosítója, ahol a tárfiók található.
Eseménytípus	Létrehozott vagyátnevezett blob	A betöltést kiváltó esemény típusa. Az átnevezett blob csak az ADLSv2-tárolók esetében támogatott. Blob átnevezéséhez navigáljon a blobhoz Azure Portal, kattintson a jobb gombbal a blobra, és válassza az Átnevezés parancsot. Támogatott típusok: Microsoft.Storage.BlobCreated vagy Microsoft.Storage.BlobRenamed.
Tárfiók	gridteststorage1	A korábban létrehozott tárfiók neve.
Erőforrások létrehozása	Automatikus	Az automatikus erőforrás-létrehozás bekapcsolása azt jelenti, hogy az Azure Data Explorer létrehoz egy Event Grid-előfizetést, egy Event Hubs-névteret és egy Event Hubs-központot. Ellenkező esetben manuálisan kell létrehoznia ezeket az erőforrásokat az adatkapcsolat létrehozásához. Lásd: Erőforrások manuális létrehozása az Event Grid-betöltéshez

Igény szerint nyomon követheti az Event Grid adott témáinak adatait. Állítsa be az értesítések szűrőit az alábbiak szerint:
- Az Előtag mező a tárgy konstans előtagja. Az alkalmazott minta kezdetét tekintve több tárolóra, mappára vagy blobra is kiterjedhet. Helyettesítő karakterek nem használhatók.
  - A blobtároló szűrőjének meghatározásához a mezőt a következőképpen kell beállítani: /blobServices/default/containers/[container prefix].
  - A blobelőtagok szűrőjének (vagy az Azure Data Lake Gen2 mappájának) definiálásához a mezőt a következőképpen kell beállítani: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
- Az utótagmező a blob konstans utótagja. Helyettesítő karakterek nem használhatók.
- A Kis- és nagybetűk megkülönböztetése mező azt jelzi, hogy az előtag- és utótagszűrők megkülönböztetik-e a kis- és nagybetűket
További információ az események szűréséről: Blob Storage-események.

Igény szerint megadhatja az adatútválasztási beállításokat az alábbi információk alapján. Nem kell megadnia az összes adatútválasztási beállítást. Részleges beállításokat is elfogadunk.

Beállítás	Ajánlott érték	Mező leírása
Az adatok más adatbázisokba való átirányításának engedélyezése (többadatbázisos adatkapcsolat)	Nem engedélyezett	Ha felül szeretné bírálni az adatkapcsolathoz társított alapértelmezett céladatbázist, kapcsolja be ezt a beállítást. További információ az adatbázis-útválasztásról: Események útválasztása.
Table name (Táblázat neve)	TestTable	A TestDatabase adatbázisban létrehozott tábla.
Adatformátum	JSON	Támogatott formátumok: APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT és W3CLOG. A támogatott tömörítési lehetőségek a Zip és a Gzip.
Leképezés neve	TestTable_mapping	A TestDatabase-ben létrehozott leképezés, amely leképezi a bejövő adatokat a TestTable oszlopneveihez és adattípusaihoz. Ha nincs megadva, a rendszer automatikusan létrehoz egy, a tábla sémájából származtatott identitásadat-leképezést .
Formátumhibák figyelmen kívül hagyása	Figyelmen kívül hagyja	Ha figyelmen kívül szeretné hagyni a JSON-adatformátum formázási hibáit, kapcsolja be ezt a beállítást.

Megjegyzés

A tábla- és leképezésnevek megkülönböztetik a kis- és nagybetűket.

A Speciális beállítások területen megadhatja az adatkapcsolat által használt felügyelt identitástípust . Alapértelmezés szerint a Rendszer által hozzárendelt beállítás van kiválasztva.

Ha a Felhasználó által hozzárendelt lehetőséget választja, manuálisan kell hozzárendelnie egy felügyelt identitást. Ha kiválaszt egy olyan felhasználót, aki még nincs hozzárendelve a fürthöz, az automatikusan lesz hozzárendelve. További információ: Felügyelt identitások konfigurálása az Azure Data Explorer-fürthöz.

Ha a Nincs lehetőséget választja, a tárfiók és az Event Hub hitelesítése kapcsolati sztringekkel történik. Ez a módszer nem ajánlott.

Kattintson a Létrehozás elemre.

Keresse meg a tárfiókot a Azure Portal.
Válassza az Események elemet.
Az Első lépések lapon válassza az Azure Data Explorer lapot.
A Folyamatos adatbetöltés létrehozása csempén válassza a Létrehozás lehetőséget.

Válassza ki a célhelyet az események átirányításához

Jelölje ki azt a fürtöt, amelyben adatokat szeretne betöltésre.
Válasszon ki egy céladatbázist.
Válassza a Kiválasztás lehetőséget.

Adatkapcsolat létrehozása

Adja meg az alábbi adatokat az űrlapon:

Beállítás	Ajánlott érték	Mező leírása
Adatkapcsolat neve	test-grid-connection	Az Azure Data Explorer létrehozni kívánt kapcsolat neve.
Tárfiók-előfizetés	Az előfizetés azonosítója	Az előfizetés azonosítója, ahol a tárfiók található.
Eseménytípus	Létrehozott vagy átnevezett blob	A betöltést kiváltó esemény típusa. Az átnevezett blob csak az ADLSv2-tárolók esetében támogatott. Blob átnevezéséhez lépjen a blobra a Azure Portal, kattintson a jobb gombbal a blobra, és válassza az Átnevezés parancsot. Támogatott típusok: Microsoft.Storage.BlobCreated vagy Microsoft.Storage.BlobRenamed.
Tárfiók	gridteststorage1	A tárfiók, ahonnan a varázslóhoz hozzáfért, automatikusan fel van töltve.
Erőforrások létrehozása	Automatikus	Az automatikus erőforrás-létrehozás bekapcsolása azt jelenti, hogy az Azure Data Explorer létrehoz egy Event Grid-előfizetést, egy Event Hubs-névteret és egy Event Hubsot. Ellenkező esetben manuálisan kell létrehoznia ezeket az erőforrásokat az adatkapcsolat létrehozásához. Lásd: Erőforrások manuális létrehozása az Event Grid-betöltéshez

Adott Event Grid-témákat is nyomon követhet. Állítsa be az értesítések szűrőit az alábbiak szerint:
- Az előtagmező a tárgy szó szerinti előtagja. Ahogy az alkalmazott minta a következővel kezdődik, több tárolóra, mappára vagy blobra is kiterjedhet. Helyettesítő karakterek nem engedélyezettek.
  - Ha szűrőt szeretne definiálni a blobtárolón, a mezőt a következőképpen kell beállítani: /blobServices/default/containers/[container prefix].
  - Ha egy blobelőtagra (vagy az Azure Data Lake Gen2 egy mappájára) szeretne szűrőt definiálni, a mezőt a következőképpen kell beállítani: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
- Az utótag mező a blob szó szerinti utótagja. Helyettesítő karakterek nem engedélyezettek.
- A Kis- és nagybetűk megkülönböztetése mező azt jelzi, hogy az előtag- és utótagszűrők megkülönböztetik-e a kis- és nagybetűket
További információ az események szűréséről: Blob Storage-események.

Az adatútválasztási beállításokat az alábbi információk alapján is megadhatja. Nem kell megadnia az összes adatútválasztási beállítást. Részleges beállításokat is elfogadunk.

Beállítás	Ajánlott érték	Mező leírása
Az adatok más adatbázisokba történő átirányításának engedélyezése (többadatbázisos adatkapcsolat)	Nem engedélyezett	Ha felül szeretné bírálni az adatkapcsolathoz társított alapértelmezett céladatbázist, kapcsolja be ezt a beállítást. Az adatbázis-útválasztással kapcsolatos további információkért lásd: Események útválasztása.
Table name (Táblázat neve)	TestTable	A TestDatabase adatbázisban létrehozott tábla.
Adatformátum	JSON	Támogatott formátumok: APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT és W3CLOG. A támogatott tömörítési lehetőségek a Zip és a Gzip.
Leképezés neve	TestTable_mapping	A TestDatabase-ben létrehozott leképezés, amely leképezi a bejövő adatokat a TestTable oszlopneveihez és adattípusaihoz. Ha nincs megadva, a rendszer automatikusan létrehoz egy, a tábla sémájából származtatott identitásadat-leképezést .
Formátumhibák figyelmen kívül hagyása	Figyelmen kívül hagyja	Ha figyelmen kívül szeretné hagyni a JSON-adatformátum formázási hibáit, kapcsolja be ezt a beállítást.

Megjegyzés

A tábla- és leképezésnevek megkülönböztetik a kis- és nagybetűket.

A Speciális beállítások területen megadhatja az adatkapcsolat által használt felügyelt identitástípust . Alapértelmezés szerint a rendszer által hozzárendelt elem van kiválasztva.

Ha a Felhasználó által hozzárendelt lehetőséget választja, manuálisan kell hozzárendelnie egy felügyelt identitást. Ha kiválaszt egy olyan felhasználót, aki még nincs hozzárendelve a fürthöz, az automatikusan lesz hozzárendelve. További információ: Felügyelt identitások konfigurálása az Azure Data Explorer-fürthöz.

Ha a Nincs lehetőséget választja, a tárfiók és az Event Hub hitelesítése kapcsolati sztringekkel történik. Ez a módszer nem ajánlott.

Válassza a Létrehozás lehetőséget.

Az alábbi példa egy Event Grid-adatkapcsolat hozzáadására szolgáló Azure Resource Manager-sablont mutat be. A sablont az űrlap használatával szerkesztheti és helyezheti üzembe a Azure Portal.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the event hub namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "StorageAccounts_storagedemo_name": {
            "type": "string",
            "defaultValue": "storagedemo",
            "metadata": {
                "description": "Specifies the storage account name"
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
             "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the resources"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the resources"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventGrid",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "storageAccountResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Storage/storageAccounts', parameters('StorageAccounts_storagedemo_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Az Event Grid-adatkapcsolat használata

Ez a szakasz bemutatja, hogyan aktiválhat betöltést Azure Blob Storage vagy Azure Data Lake Gen 2-ből a fürtbe a blob létrehozása vagy blob átnevezése után.

Válassza ki a megfelelő lapot a blobok feltöltéséhez használt tárolási SDK típusa alapján.

Azure Blob Storage
Azure Data Lake

Az alábbi kódminta a Azure Blob Storage SDK használatával tölt fel egy fájlt a Azure Blob Storage. A feltöltés aktiválja az Event Grid adatkapcsolatot, amely betölti az adatokat az Azure Data Explorer.

var azureStorageAccountConnectionString = <storage_account_connection_string>;
var containerName = <container_name>;
var blobName = <blob_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
// Create a new container if it not already exists.
var azureStorageAccount = new BlobServiceClient(azureStorageAccountConnectionString);
var container = azureStorageAccount.GetBlobContainerClient(containerName);
container.CreateIfNotExists();
// Define blob metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new BlobUploadOptions
{
    Metadata = metadata,
};
// Upload the file.
var blob = container.GetBlobClient(blobName);
blob.Upload(localFileName, uploadOptions);

Megjegyzés

Az Azure Data Explorer nem törli a blobokat a betöltés után. Tartsa meg a blobokat három-öt napig az Azure Blob Storage életciklusának használatával a blobok törlésének kezeléséhez.

Az alábbi kódminta az Azure Data Lake SDK használatával tölt fel egy fájlt Data Lake Storage Gen2. A feltöltés aktiválja az Event Grid-adatkapcsolatot, amely betölti az adatokat az Azure Data Explorer.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var fileName = <file_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Create the filesystem.
var dataLakeFileSystemClient = dataLakeServiceClient.CreateFileSystem(fileSystemName).Value;
// Define file metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new DataLakeFileUploadOptions
{
    Metadata = metadata,
    Close = true // Note: The close option triggers the event being processed by the data connection.
};
// Upload the file.
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(fileName);
dataLakeFileClient.Upload(localFileName, uploadOptions);

Megjegyzés

Amikor feltölt egy fájlt az Azure Data Lake SDK-val, a kezdeti fájllétrehozási esemény mérete 0, amelyet az Azure Data Explorer figyelmen kívül hagy az adatbetöltés során. A megfelelő betöltés biztosításához állítsa a paramétert értékre Closetrue. Ez a paraméter egy FlushAndClose eseményt vált ki, amely azt jelzi, hogy a végleges frissítés befejeződött, és a fájlstream lezárult.
Az Event Gridből érkező forgalom csökkentése és az események Azure Data Explorer való betöltésének optimalizálása érdekében javasoljuk, hogy szűrje a data.api kulcsot a CreateFile-események kizárásához. Ez biztosítja, hogy a 0-s méretű fájllétrehozási események kiszűrve legyenek, így elkerülhetők az üres fájlok betöltési hibái. További információ a kiürítésről: Azure Data Lake flush metódus.

Blobok átnevezése

Az ADLSv2-ben átnevezheti a címtárakat. Fontos azonban megjegyezni, hogy a címtár átnevezése nem váltja ki a blob átnevezett eseményeit, és nem kezdeményezi a címtárban található blobok betöltését. Ha biztosítani szeretné a blobok betöltését a címtár átnevezése után, akkor közvetlenül nevezze át az egyes blobokat a címtáron belül.

Az alábbi kódminta bemutatja, hogyan nevezhet át egy blobot egy ADLSv2-tárfiókban.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var sourceFilePath = <source_file_path>;
var destinationFilePath = <destination_file_path>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Get a client to the the filesystem

var dataLakeFileSystemClient = dataLakeServiceClient.GetFileSystemClient(fileSystemName);
// Rename a file in the file system
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(sourceFilePath);
dataLakeFileClient.Rename(destinationFilePath);

Megjegyzés

Ha meghatározott szűrőket adott témák követésére az adatkapcsolat létrehozásakor vagy az Event Grid-erőforrások manuális létrehozásakor, ezek a szűrők a célfájl elérési útján lesznek alkalmazva.

Megjegyzés

A művelet utáni CopyBlob betöltés aktiválása nem támogatott azon tárfiókok esetében, amelyeken engedélyezve van a hierarchikus névtér funkció.

Event Grid-adatkapcsolat eltávolítása

Ha el szeretné távolítani az Event Grid-kapcsolatot a Azure Portal, hajtsa végre az alábbi lépéseket:

Nyissa meg a fürtöt. A bal oldali menüben válassza az Adatbázisok lehetőséget. Ezután válassza ki a céltáblát tartalmazó adatbázist.
A bal oldali menüben válassza az Adatkapcsolatok lehetőséget. Ezután jelölje be a megfelelő Event Grid-adatkapcsolat melletti jelölőnégyzetet.
A felső menüsávon válassza a Törlés lehetőséget.

Adatok feldolgozása az eseményközpontból az Azure Stream Analytics használatával

Event Grid-adatkapcsolat létrehozása az Azure Data Explorer

Előfeltételek

Event Grid-adatkapcsolat létrehozása

Válassza ki a célhelyet az események átirányításához

Adatkapcsolat létrehozása

Az Event Grid-adatkapcsolat használata

Blobok átnevezése

Event Grid-adatkapcsolat eltávolítása

Visszajelzés

Visszajelzés

További források

Event Grid-adatkapcsolat létrehozása az Azure Data Explorer

Előfeltételek

Event Grid-adatkapcsolat létrehozása

Az Event Grid-adatkapcsolat használata

Event Grid-adatkapcsolat eltávolítása

Kapcsolódó tartalom

Visszajelzés

Visszajelzés

További források