Vytvoření datového připojení Event Gridu pro Azure Data Explorer
V tomto článku se dozvíte, jak ingestovat objekty blob z účtu úložiště do Azure Data Explorer pomocí datového připojení Event Gridu. Vytvoříte datové připojení Event Gridu, které nastaví odběr Azure Event Grid. Odběr Event Gridu směruje události z vašeho účtu úložiště do Azure Data Explorer prostřednictvím Azure Event Hubs.
Poznámka
Příjem dat podporuje maximální velikost souboru 6 GB. Doporučujeme ingestovat soubory o velikosti od 100 MB do 1 GB.
Informace o vytvoření připojení pomocí sad Kusto SDK najdete v tématu Vytvoření datového připojení Event Gridu pomocí sad SDK.
Obecné informace o ingestování do Azure Data Explorer ze služby Event Grid najdete v tématu Připojení ke službě Event Grid.
Poznámka
Pokud chcete dosáhnout nejlepšího výkonu s připojením Event Gridu, nastavte vlastnost příjmu rawSizeBytes
dat prostřednictvím metadat objektu blob. Další informace najdete v tématu o vlastnostech příjmu dat.
Požadavky
- Předplatné Azure. Vytvořte si bezplatný účet Azure.
- Cluster a databáze Azure Data Explorer. Vytvořte cluster a databázi.
- Cílová tabulka. Vytvořte tabulku nebo použijte existující tabulku.
- Mapování příjmu dat pro tabulku
- Účet úložiště. Odběr oznámení Event Gridu je možné nastavit v účtech Azure Storage pro
BlobStorage
,StorageV2
nebo Data Lake Storage Gen2. - Zaregistrujte poskytovatele prostředků Event Gridu.
Vytvoření datového připojení Event Gridu
V této části navážete spojení mezi Event Gridem a tabulkou Azure Data Explorer.
V Azure Portal přejděte ke svému clusteru Azure Data Explorer.
V části Data vyberte Databáze>TestDatabáze.
V části Nastavení vyberte Datová připojení a pak vyberte Přidat datové připojení>Event Grid (Úložiště objektů blob).
Ve formuláři datového připojení Event Gridu vyplňte následující informace:
Nastavení Navrhovaná hodnota Popis pole Název datového připojení test připojení k mřížce Název připojení, které chcete vytvořit v Azure Data Explorer. Názvy datových připojení můžou obsahovat pouze alfanumerické znaky, pomlčky a tečky a jejich délka může být maximálně 40 znaků. Předplatné účtu úložiště ID vašeho předplatného ID předplatného, ve kterém je váš účet úložiště. Typ události Objekt blob se vytvořil nebo se objekt blob přejmenoval Typ události, která aktivuje příjem dat. Přejmenování objektu blob se podporuje pouze pro úložiště ADLSv2. Pokud chcete objekt blob přejmenovat, přejděte na objekt blob v Azure Portal, klikněte na objekt blob pravým tlačítkem a vyberte Přejmenovat. Podporované typy jsou: Microsoft.Storage.BlobCreated nebo Microsoft.Storage.BlobRenamed. Účet úložiště gridteststorage1 Název účtu úložiště, který jste vytvořili dříve. Vytváření prostředků Automatické Zapnutí automatického vytváření prostředků znamená, že Azure Data Explorer vytvoří odběr služby Event Grid, obor názvů služby Event Hubs a službu Event Hubs za vás. Jinak musíte tyto prostředky vytvořit ručně, aby se zajistilo vytvoření datového připojení. Viz Ruční vytváření prostředků pro příjem dat ve službě Event Grid. Volitelně můžete sledovat konkrétní předměty Event Gridu. Filtry pro oznámení nastavte takto:
- Pole Předpona je předpona literálu předmětu. Vzhledem k tomu, že použitý vzor začíná na , může zahrnovat více kontejnerů, složek nebo objektů blob. Nejsou povoleny žádné zástupné cardy.
- Pokud chcete definovat filtr kontejneru objektů blob, musí být pole nastaveno takto:
/blobServices/default/containers/[container prefix]
. - Pokud chcete definovat filtr pro předponu objektu blob (nebo složku v Azure Data Lake Gen2), musí být pole nastaveno takto:
/blobServices/default/containers/[container name]/blobs/[folder/blob prefix]
.
- Pokud chcete definovat filtr kontejneru objektů blob, musí být pole nastaveno takto:
- Pole Přípona je přípona literálu objektu blob. Nejsou povoleny žádné zástupné cardy.
- V poli se rozlišují malá a velká písmena, které označují, jestli filtry předpon a přípon rozlišují velká a malá písmena.
Další informace o filtrování událostí najdete v tématu Události služby Blob Storage.
- Pole Předpona je předpona literálu předmětu. Vzhledem k tomu, že použitý vzor začíná na , může zahrnovat více kontejnerů, složek nebo objektů blob. Nejsou povoleny žádné zástupné cardy.
Volitelně můžete podle následujících informací zadat nastavení Směrování dat . Nemusíte zadávat všechna nastavení směrování dat. Akceptují se i částečná nastavení.
Nastavení Navrhovaná hodnota Popis pole Povolit směrování dat do jiných databází (datové připojení s více databázemi) Nepovolit Tuto možnost zapněte, pokud chcete přepsat výchozí cílovou databázi přidruženou k datovému připojení. Další informace o směrování databáze najdete v tématu Směrování událostí. Název tabulky TestTable Tabulka, kterou jste vytvořili v databázi TestDatabase Formát dat JSON Podporované formáty jsou APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT a W3CLOG. Podporované možnosti komprese jsou Zip a Gzip. Název mapování TestTable_mapping Mapování, které jste vytvořili v testdatabázi, které mapuje příchozí data na názvy sloupců a datové typy TestTable. Pokud není zadaný, automaticky se vygeneruje mapování dat identity odvozené ze schématu tabulky. Ignorovat chyby formátu Ignorovat Tuto možnost zapněte, pokud chcete ignorovat chyby formátování datového formátu JSON. Poznámka
V názvech tabulek a mapování se rozlišují velká a malá písmena.
Volitelně můžete v části Upřesňující nastavení zadat typ spravované identity , který používá vaše datové připojení. Ve výchozím nastavení je vybraná možnost Přiřazeno systémem .
Pokud vyberete Možnost Přiřazeno uživatelem, musíte spravovanou identitu přiřadit ručně. Pokud vyberete uživatele, který ještě není přiřazený k vašemu clusteru, automaticky se přiřadí. Další informace najdete v tématu Konfigurace spravovaných identit pro cluster Azure Data Explorer.
Pokud vyberete Možnost Žádný, účet úložiště a centrum událostí se ověřují prostřednictvím připojovacích řetězců. Tato metoda se nedoporučuje.
Vyberte Vytvořit.
Použití datového připojení Event Gridu
Tato část ukazuje, jak aktivovat příjem dat z Azure Blob Storage nebo Azure Data Lake Gen2 do clusteru po vytvoření objektu blob nebo přejmenování objektu blob.
Vyberte příslušnou kartu podle typu sady SDK úložiště použité k nahrání objektů blob.
Následující ukázka kódu používá k nahrání souboru do Azure Blob Storage sadu AZURE BLOB STORAGE SDK. Nahrávání aktivuje datové připojení Event Gridu, které ingestuje data do Azure Data Explorer.
var azureStorageAccountConnectionString = <storage_account_connection_string>;
var containerName = <container_name>;
var blobName = <blob_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
// Create a new container if it not already exists.
var azureStorageAccount = new BlobServiceClient(azureStorageAccountConnectionString);
var container = azureStorageAccount.GetBlobContainerClient(containerName);
container.CreateIfNotExists();
// Define blob metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new BlobUploadOptions
{
Metadata = metadata,
};
// Upload the file.
var blob = container.GetBlobClient(blobName);
blob.Upload(localFileName, uploadOptions);
Poznámka
Azure Data Explorer neodstraní objekty blob po ingestování. Zachovejte objekty blob po dobu tří až pěti dnů pomocí životního cyklu služby Azure Blob Storage ke správě odstraňování objektů blob.
Poznámka
Aktivace příjmu CopyBlob
dat po operaci se nepodporuje u účtů úložiště, u kterých je povolená funkce hierarchického oboru názvů.
Odebrání datového připojení Event Gridu
Chcete-li odebrat připojení Event Grid z Azure Portal, proveďte následující kroky:
- Přejděte do clusteru. V nabídce vlevo vyberte Databáze. Pak vyberte databázi, která obsahuje cílovou tabulku.
- V nabídce vlevo vyberte Datová připojení. Pak zaškrtněte políčko vedle příslušného datového připojení Event Gridu.
- V horním řádku nabídek vyberte Odstranit.
Související obsah
Váš názor
https://aka.ms/ContentUserFeedback.
Připravujeme: V průběhu roku 2024 budeme postupně vyřazovat problémy z GitHub coby mechanismus zpětné vazby pro obsah a nahrazovat ho novým systémem zpětné vazby. Další informace naleznete v tématu:Odeslat a zobrazit názory pro