Vytvoření datového připojení Event Gridu pro Azure Data Explorer

Článek
09/03/2024

V tomto článku se dozvíte, jak ingestovat objekty blob z účtu úložiště do Azure Data Exploreru pomocí datového připojení Event Gridu. Vytvoříte datové připojení Event Gridu, které nastaví odběr služby Azure Event Grid . Odběr služby Event Grid směruje události z vašeho účtu úložiště do Azure Data Exploreru prostřednictvím služby Azure Event Hubs.

Poznámka:

Příjem dat podporuje maximální velikost souboru 6 GB. Doporučujeme ingestovat soubory mezi 100 MB a 1 GB.

Informace o vytvoření připojení pomocí sad SDK Kusto najdete v tématu Vytvoření datového připojení Event Gridu pomocí sad SDK.

Obecné informace o ingestování do Azure Data Exploreru z Event Gridu najdete v tématu Připojení k Event Gridu.

Poznámka:

Pokud chcete dosáhnout nejlepšího výkonu s připojením event Gridu, nastavte vlastnost příjmu rawSizeBytes dat prostřednictvím metadat objektů blob. Další informace najdete ve vlastnostech příjmu dat.

Požadavky

Předplatné Azure. Vytvořte bezplatný účet Azure.
Cluster a databáze Azure Data Exploreru. Vytvořte cluster a databázi.
Cílová tabulka. Vytvořte tabulku nebo použijte existující tabulku.
Mapování příjmu dat pro tabulku.
Účet úložiště. Odběr oznámení služby Event Grid můžete nastavit pro účty Azure Storage pro BlobStorage, StorageV2nebo Data Lake Storage Gen2.
Mít zaregistrovaného poskytovatele prostředků Event Gridu.

Vytvoření datového připojení Event Gridu

V této části vytvoříte propojení mezi Event Gridem a tabulkou Azure Data Exploreru.

Na webu Azure Portal přejděte do clusteru Azure Data Exploreru.
V části Data vyberte Databáze>TestDatabase.
V části Nastavení vyberte Datová připojení a pak vyberte Přidat datové připojení>Event Grid (Úložiště objektů blob).

Vyplňte formulář datového připojení Event Gridu s následujícími informacemi:

Nastavení	Navrhovaná hodnota	Popis pole
Název datového připojení	test-grid-connection	Název připojení, které chcete vytvořit v Azure Data Exploreru. Názvy datových připojení můžou obsahovat pouze alfanumerické znaky, pomlčku a tečky a mají délku až 40 znaků.
Předplatné účtu úložiště	ID vašeho předplatného	ID předplatného, ve kterém je váš účet úložiště.
Typ události	Objekt blob vytvořený nebo přejmenovaný objekt blob	Typ události, která aktivuje příjem dat. Přejmenování objektu blob se podporuje jenom pro úložiště ADLSv2. Pokud chcete objekt blob přejmenovat, přejděte na objekt blob na webu Azure Portal, klikněte pravým tlačítkem na objekt blob a vyberte Přejmenovat. Podporované typy jsou: Microsoft.Storage.BlobCreated nebo Microsoft.Storage.BlobRenamed.
Účet úložiště	gridteststorage1	Název účtu úložiště, který jste vytvořili dříve.
Vytváření prostředků	Automatické	Zapnutí automatického vytváření prostředků znamená, že Azure Data Explorer za vás vytvoří odběr event Gridu, obor názvů služby Event Hubs a službu Event Hubs. Jinak je potřeba tyto prostředky vytvořit ručně, abyste zajistili vytvoření datového připojení. Viz Ruční vytváření prostředků pro příjem dat služby Event Grid.

Volitelně můžete sledovat konkrétní předměty Event Gridu. Nastavte filtry pro oznámení následujícím způsobem:
- Pole předpony je předpona literálu předmětu. Vzhledem k tomu , že použitý vzor začíná, může zahrnovat více kontejnerů, složek nebo objektů blob. Nejsou povoleny žádné zástupné cardy.
  - Chcete-li definovat filtr pro kontejner objektů blob, musí být pole nastaveno takto: /blobServices/default/containers/[container prefix].
  - Chcete-li definovat filtr pro předponu objektu blob (nebo složku v Azure Data Lake Gen2), musí být pole nastaveno takto: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
- Pole přípony je přípona literálu objektu blob. Nejsou povoleny žádné zástupné cardy.
- Pole Rozlišovat velká a malá písmena označuje, jestli filtry předpony a přípony rozlišují malá a velká písmena.
Další informace o filtrování událostí najdete v tématu Události úložiště objektů blob.

Volitelně můžete zadat nastavení směrování dat podle následujících informací. Nemusíte zadávat všechna nastavení směrování dat. Jsou také přijata částečná nastavení.

Nastavení	Navrhovaná hodnota	Popis pole
Povolit směrování dat do jiných databází (datové připojení s více databázemi)	Nepovolit	Tuto možnost zapněte, pokud chcete přepsat výchozí cílovou databázi přidruženou k datovému připojení. Další informace o směrování databáze naleznete v tématu Směrování událostí.
Název tabulky	TestTable	Tabulka, kterou jste vytvořili v databázi TestDatabase
Formát dat	JSON	Podporované formáty jsou APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT a W3CLOG. Podporované možnosti komprese jsou zip a gzip.
Název mapování	TestTable_mapping	Mapování, které jste vytvořili v TestDatabase, které mapuje příchozí data na názvy sloupců a datové typy TestTable. Pokud není zadáno, automaticky se vygeneruje mapování dat identity odvozené ze schématu tabulky.
Ignorovat chyby formátu	Ignorovat	Tuto možnost zapněte, pokud chcete ignorovat chyby formátu pro formát dat JSON.

Poznámka:

V názvech tabulek a mapování se rozlišují malá a velká písmena.

Volitelně můžete v části Upřesnit nastavení zadat typ spravované identity, který používá vaše datové připojení. Ve výchozím nastavení je vybrán systém přiřazený .

Pokud vyberete Přiřazené uživatelem, musíte spravovanou identitu přiřadit ručně. Pokud vyberete uživatele, který ještě není přiřazený k vašemu clusteru, automaticky se přiřadí. Další informace najdete v tématu Konfigurace spravovaných identit pro cluster Azure Data Exploreru.

Pokud vyberete Možnost Žádné, účet úložiště a centrum událostí se ověřují prostřednictvím připojovací řetězec. Tato metoda se nedoporučuje.

Vyberte příkaz Vytvořit.

Na webu Azure Portal přejděte ke svému účtu úložiště.
Vyberte Události.
Na kartě Začínáme vyberte kartu Azure Data Explorer.
Na dlaždici Vytvořit průběžný příjem dat vyberte Vytvořit.

Volba cíle pro směrování událostí do

Vyberte cluster, ve kterém chcete ingestovat data.
Vyberte cílovou databázi.
Zvolte Zvolit.

Vytvoření datového připojení

Do formuláře zadejte následující informace:

Nastavení	Navrhovaná hodnota	Popis pole
Název datového připojení	test-grid-connection	Název připojení, které chcete vytvořit v Azure Data Exploreru.
Předplatné účtu úložiště	ID vašeho předplatného	ID předplatného, ve kterém je váš účet úložiště.
Typ události	Objekt blob vytvořený nebo přejmenovaný objekt blob	Typ události, která aktivuje příjem dat. Přejmenování objektu blob se podporuje jenom pro úložiště ADLSv2. Pokud chcete objekt blob přejmenovat, přejděte na objekt blob na webu Azure Portal, klikněte pravým tlačítkem na objekt blob a vyberte Přejmenovat. Podporované typy jsou: Microsoft.Storage.BlobCreated nebo Microsoft.Storage.BlobRenamed.
Účet úložiště	gridteststorage1	Účet úložiště, ze kterého jste získali přístup k tomuto průvodci, je automaticky vyplněný.
Vytváření prostředků	Automatické	Zapnutí automatického vytváření prostředků znamená, že Azure Data Explorer za vás vytvoří odběr event Gridu, obor názvů služby Event Hubs a službu Event Hubs. Jinak je potřeba tyto prostředky vytvořit ručně, abyste zajistili vytvoření datového připojení. Viz Ruční vytváření prostředků pro příjem dat služby Event Grid.

Volitelně můžete sledovat konkrétní předměty Event Gridu. Nastavte filtry pro oznámení následujícím způsobem:
- Pole předpony je předpona literálu předmětu. Vzhledem k tomu , že použitý vzor začíná, může zahrnovat více kontejnerů, složek nebo objektů blob. Nejsou povoleny žádné zástupné cardy.
  - Chcete-li definovat filtr pro kontejner objektů blob, musí být pole nastaveno takto: /blobServices/default/containers/[container prefix].
  - Chcete-li definovat filtr pro předponu objektu blob (nebo složku v Azure Data Lake Gen2), musí být pole nastaveno takto: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
- Pole přípony je přípona literálu objektu blob. Nejsou povoleny žádné zástupné cardy.
- Pole Rozlišovat velká a malá písmena označuje, jestli filtry předpony a přípony rozlišují malá a velká písmena.
Další informace o filtrování událostí najdete v tématu Události úložiště objektů blob.

Volitelně můžete zadat nastavení směrování dat podle následujících informací. Nemusíte zadávat všechna nastavení směrování dat. Jsou také přijata částečná nastavení.

Nastavení	Navrhovaná hodnota	Popis pole
Povolit směrování dat do jiných databází (datové připojení s více databázemi)	Nepovolit	Tuto možnost zapněte, pokud chcete přepsat výchozí cílovou databázi přidruženou k datovému připojení. Další informace o směrování databáze naleznete v tématu Směrování událostí.
Název tabulky	TestTable	Tabulka, kterou jste vytvořili v databázi TestDatabase
Formát dat	JSON	Podporované formáty jsou APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT a W3CLOG. Podporované možnosti komprese jsou zip a gzip.
Název mapování	TestTable_mapping	Mapování, které jste vytvořili v TestDatabase, které mapuje příchozí data na názvy sloupců a datové typy TestTable. Pokud není zadáno, automaticky se vygeneruje mapování dat identity odvozené ze schématu tabulky.
Ignorovat chyby formátu	Ignorovat	Tuto možnost zapněte, pokud chcete ignorovat chyby formátu pro formát dat JSON.

Poznámka:

V názvech tabulek a mapování se rozlišují malá a velká písmena.

Volitelně můžete v části Upřesnit nastavení zadat typ spravované identity, který používá vaše datové připojení. Ve výchozím nastavení je vybrán systém přiřazený .

Pokud vyberete Přiřazené uživatelem, musíte spravovanou identitu přiřadit ručně. Pokud vyberete uživatele, který ještě není přiřazený k vašemu clusteru, automaticky se přiřadí. Další informace najdete v tématu Konfigurace spravovaných identit pro cluster Azure Data Exploreru.

Pokud vyberete Možnost Žádné, účet úložiště a centrum událostí se ověřují prostřednictvím připojovací řetězec. Tato metoda se nedoporučuje.

Vyberte Vytvořit.

Následující příklad ukazuje šablonu Azure Resource Manageru pro přidání datového připojení Event Gridu. Šablonu můžete upravit a nasadit na webu Azure Portal pomocí formuláře.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the event hub namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "StorageAccounts_storagedemo_name": {
            "type": "string",
            "defaultValue": "storagedemo",
            "metadata": {
                "description": "Specifies the storage account name"
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
             "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the resources"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the resources"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventGrid",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "storageAccountResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Storage/storageAccounts', parameters('StorageAccounts_storagedemo_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Použití datového připojení Event Gridu

Tato část ukazuje, jak aktivovat příjem dat ze služby Azure Blob Storage nebo Azure Data Lake Gen2 do clusteru po vytvoření objektu blob nebo přejmenování objektu blob.

Na základě typu sady SDK úložiště použitého k nahrání objektů blob vyberte příslušnou kartu.

Azure Blob Storage
Azure Data Lake

Následující ukázka kódu používá sadu SDK služby Azure Blob Storage k nahrání souboru do služby Azure Blob Storage. Nahrání aktivuje datové připojení Event Gridu, které ingestuje data do Azure Data Exploreru.

var azureStorageAccountConnectionString = <storage_account_connection_string>;
var containerName = <container_name>;
var blobName = <blob_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
// Create a new container if it not already exists.
var azureStorageAccount = new BlobServiceClient(azureStorageAccountConnectionString);
var container = azureStorageAccount.GetBlobContainerClient(containerName);
container.CreateIfNotExists();
// Define blob metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new BlobUploadOptions
{
    Metadata = metadata,
};
// Upload the file.
var blob = container.GetBlobClient(blobName);
blob.Upload(localFileName, uploadOptions);

Poznámka:

Azure Data Explorer neodstraní objekty blob po příjmu dat. Zachovejte objekty blob po dobu tří až pěti dnů pomocí životního cyklu úložiště objektů blob v Azure ke správě odstranění objektů blob.

Následující ukázka kódu používá sadu Azure Data Lake SDK k nahrání souboru do Data Lake Storage Gen2. Nahrání aktivuje datové připojení Event Gridu, které ingestuje data do Azure Data Exploreru.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var fileName = <file_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Create the filesystem.
var dataLakeFileSystemClient = dataLakeServiceClient.CreateFileSystem(fileSystemName).Value;
// Define file metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new DataLakeFileUploadOptions
{
    Metadata = metadata,
    Close = true // Note: The close option triggers the event being processed by the data connection.
};
// Upload the file.
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(fileName);
dataLakeFileClient.Upload(localFileName, uploadOptions);

Poznámka:

Při nahrávání souboru pomocí sady Azure Data Lake SDK má počáteční událost vytvoření souboru velikost 0, kterou Azure Data Explorer během příjmu dat ignoruje. Chcete-li zajistit správné ingestování, nastavte Close parametr na truehodnotu . Tento parametr způsobí, že metoda upload aktivuje událost FlushAndClose , což znamená, že byla provedena konečná aktualizace a datový proud souboru je uzavřen.
Pokud chcete snížit provoz přicházející z Event Gridu a optimalizovat příjem událostí do Azure Data Exploreru, doporučujeme filtrovat klíč data.api, aby se vyloučily události CreateFile. Tím zajistíte, že se vyfiltrují události vytváření souborů s velikostí 0, což brání chybám příjmu prázdných souborů. Další informace o vyprázdnění najdete v tématu Azure Data Lake flush method.

Přejmenování objektů blob

V ADLSv2 je možné přejmenovat adresáře. Je ale důležité si uvědomit, že přejmenování adresáře neaktivuje přejmenované události objektu blob ani neaktivuje příjem dat objektů blob obsažených v adresáři. Pokud chcete zajistit příjem dat objektů blob po přejmenování adresáře, měli byste jednotlivé objekty blob v adresáři přejmenovat přímo.

Následující ukázka kódu ukazuje, jak přejmenovat objekt blob v účtu úložiště ADLSv2.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var sourceFilePath = <source_file_path>;
var destinationFilePath = <destination_file_path>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Get a client to the the filesystem

var dataLakeFileSystemClient = dataLakeServiceClient.GetFileSystemClient(fileSystemName);
// Rename a file in the file system
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(sourceFilePath);
dataLakeFileClient.Rename(destinationFilePath);

Poznámka:

Pokud jste definovali filtry pro sledování konkrétních témat při vytváření datového připojení nebo při ručním vytváření prostředků Event Gridu, použijí se tyto filtry na cestě k cílovému souboru.

Poznámka:

Aktivace příjmu CopyBlob dat po operaci není podporovaná pro účty úložiště s povolenou funkcí hierarchického oboru názvů.

Důležité

Důrazně nedoporučujeme generovat události úložiště z vlastního kódu a odesílat je do služby Event Hubs. Pokud se tak rozhodnete, ujistěte se, že události vytvořené výhradně odpovídají příslušným specifikacím schématu událostí úložiště a formátu JSON.

Odebrání datového připojení Event Gridu

Pokud chcete odebrat připojení Event Gridu z webu Azure Portal, proveďte následující kroky:

Přejděte do clusteru. V nabídce vlevo vyberte Databáze. Pak vyberte databázi, která obsahuje cílovou tabulku.
V nabídce vlevo vyberte Datová připojení. Potom zaškrtněte políčko vedle příslušného datového připojení Event Gridu.
V horním řádku nabídek vyberte Odstranit.

Zpracování dat z centra událostí pomocí Azure Stream Analytics

Sdílet prostřednictvím

Vytvoření datového připojení Event Gridu pro Azure Data Explorer

Požadavky

Vytvoření datového připojení Event Gridu

Volba cíle pro směrování událostí do

Vytvoření datového připojení

Použití datového připojení Event Gridu

Přejmenování objektů blob

Odebrání datového připojení Event Gridu

Váš názor

Další materiály

Sdílet prostřednictvím

Vytvoření datového připojení Event Gridu pro Azure Data Explorer

Požadavky

Vytvoření datového připojení Event Gridu

Použití datového připojení Event Gridu

Odebrání datového připojení Event Gridu

Související obsah

Váš názor

Další materiály