Vytvoření datového připojení Event Gridu pro Azure Data Explorer

  • Článek

V tomto článku se dozvíte, jak ingestovat objekty blob z účtu úložiště do Azure Data Explorer pomocí datového připojení Event Gridu. Vytvoříte datové připojení Event Gridu, které nastaví odběr Azure Event Grid. Odběr Event Gridu směruje události z vašeho účtu úložiště do Azure Data Explorer prostřednictvím Azure Event Hubs.

Poznámka

Příjem dat podporuje maximální velikost souboru 6 GB. Doporučujeme ingestovat soubory o velikosti od 100 MB do 1 GB.

Informace o vytvoření připojení pomocí sad Kusto SDK najdete v tématu Vytvoření datového připojení Event Gridu pomocí sad SDK.

Obecné informace o ingestování do Azure Data Explorer ze služby Event Grid najdete v tématu Připojení ke službě Event Grid.

Poznámka

Pokud chcete dosáhnout nejlepšího výkonu s připojením Event Gridu, nastavte vlastnost příjmu rawSizeBytes dat prostřednictvím metadat objektu blob. Další informace najdete v tématu o vlastnostech příjmu dat.

Požadavky

Vytvoření datového připojení Event Gridu

V této části navážete spojení mezi Event Gridem a tabulkou Azure Data Explorer.

  1. V Azure Portal přejděte ke svému clusteru Azure Data Explorer.

  2. V části Data vyberte Databáze>TestDatabáze.

    Snímek obrazovky s oddílem databáze clusteru zobrazující seznam databází, které cluster obsahuje

  3. V části Nastavení vyberte Datová připojení a pak vyberte Přidat datové připojení>Event Grid (Úložiště objektů blob).

    Snímek obrazovky se stránkou datových připojení Možnost přidání datového připojení je zvýrazněná.

  4. Ve formuláři datového připojení Event Gridu vyplňte následující informace:

    Snímek obrazovky s podoknem Event Gridu s podrobnostmi o datovém připojení

    Nastavení Navrhovaná hodnota Popis pole
    Název datového připojení test připojení k mřížce Název připojení, které chcete vytvořit v Azure Data Explorer. Názvy datových připojení můžou obsahovat pouze alfanumerické znaky, pomlčky a tečky a jejich délka může být maximálně 40 znaků.
    Předplatné účtu úložiště ID vašeho předplatného ID předplatného, ve kterém je váš účet úložiště.
    Typ události Objekt blob se vytvořil nebo se objekt blob přejmenoval Typ události, která aktivuje příjem dat. Přejmenování objektu blob se podporuje pouze pro úložiště ADLSv2. Pokud chcete objekt blob přejmenovat, přejděte na objekt blob v Azure Portal, klikněte na objekt blob pravým tlačítkem a vyberte Přejmenovat. Podporované typy jsou: Microsoft.Storage.BlobCreated nebo Microsoft.Storage.BlobRenamed.
    Účet úložiště gridteststorage1 Název účtu úložiště, který jste vytvořili dříve.
    Vytváření prostředků Automatické Zapnutí automatického vytváření prostředků znamená, že Azure Data Explorer vytvoří odběr služby Event Grid, obor názvů služby Event Hubs a službu Event Hubs za vás. Jinak musíte tyto prostředky vytvořit ručně, aby se zajistilo vytvoření datového připojení. Viz Ruční vytváření prostředků pro příjem dat ve službě Event Grid.

    1. Volitelně můžete sledovat konkrétní předměty Event Gridu. Filtry pro oznámení nastavte takto:

      • Pole Předpona je předpona literálu předmětu. Vzhledem k tomu, že použitý vzor začíná na , může zahrnovat více kontejnerů, složek nebo objektů blob. Nejsou povoleny žádné zástupné cardy.
        • Pokud chcete definovat filtr kontejneru objektů blob, musí být pole nastaveno takto: /blobServices/default/containers/[container prefix].
        • Pokud chcete definovat filtr pro předponu objektu blob (nebo složku v Azure Data Lake Gen2), musí být pole nastaveno takto: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
      • Pole Přípona je přípona literálu objektu blob. Nejsou povoleny žádné zástupné cardy.
      • V poli se rozlišují malá a velká písmena, které označují, jestli filtry předpon a přípon rozlišují velká a malá písmena.

      Další informace o filtrování událostí najdete v tématu Události služby Blob Storage.

    2. Volitelně můžete podle následujících informací zadat nastavení Směrování dat . Nemusíte zadávat všechna nastavení směrování dat. Akceptují se i částečná nastavení.

      Nastavení Navrhovaná hodnota Popis pole
      Povolit směrování dat do jiných databází (datové připojení s více databázemi) Nepovolit Tuto možnost zapněte, pokud chcete přepsat výchozí cílovou databázi přidruženou k datovému připojení. Další informace o směrování databáze najdete v tématu Směrování událostí.
      Název tabulky TestTable Tabulka, kterou jste vytvořili v databázi TestDatabase
      Formát dat JSON Podporované formáty jsou APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT a W3CLOG. Podporované možnosti komprese jsou Zip a Gzip.
      Název mapování TestTable_mapping Mapování, které jste vytvořili v testdatabázi, které mapuje příchozí data na názvy sloupců a datové typy TestTable. Pokud není zadaný, automaticky se vygeneruje mapování dat identity odvozené ze schématu tabulky.
      Ignorovat chyby formátu Ignorovat Tuto možnost zapněte, pokud chcete ignorovat chyby formátování datového formátu JSON.

      Poznámka

      V názvech tabulek a mapování se rozlišují velká a malá písmena.

    3. Volitelně můžete v části Upřesňující nastavení zadat typ spravované identity , který používá vaše datové připojení. Ve výchozím nastavení je vybraná možnost Přiřazeno systémem .

      Pokud vyberete Možnost Přiřazeno uživatelem, musíte spravovanou identitu přiřadit ručně. Pokud vyberete uživatele, který ještě není přiřazený k vašemu clusteru, automaticky se přiřadí. Další informace najdete v tématu Konfigurace spravovaných identit pro cluster Azure Data Explorer.

      Pokud vyberete Možnost Žádný, účet úložiště a centrum událostí se ověřují prostřednictvím připojovacích řetězců. Tato metoda se nedoporučuje.

      Snímek obrazovky s částí Upřesňující nastavení zobrazující typy spravovaných identit, které se dají použít pro datové připojení

  5. Vyberte Vytvořit.

Použití datového připojení Event Gridu

Tato část ukazuje, jak aktivovat příjem dat z Azure Blob Storage nebo Azure Data Lake Gen2 do clusteru po vytvoření objektu blob nebo přejmenování objektu blob.

Vyberte příslušnou kartu podle typu sady SDK úložiště použité k nahrání objektů blob.

Následující ukázka kódu používá k nahrání souboru do Azure Blob Storage sadu AZURE BLOB STORAGE SDK. Nahrávání aktivuje datové připojení Event Gridu, které ingestuje data do Azure Data Explorer.

var azureStorageAccountConnectionString = <storage_account_connection_string>;
var containerName = <container_name>;
var blobName = <blob_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
// Create a new container if it not already exists.
var azureStorageAccount = new BlobServiceClient(azureStorageAccountConnectionString);
var container = azureStorageAccount.GetBlobContainerClient(containerName);
container.CreateIfNotExists();
// Define blob metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new BlobUploadOptions
{
    Metadata = metadata,
};
// Upload the file.
var blob = container.GetBlobClient(blobName);
blob.Upload(localFileName, uploadOptions);

Poznámka

Azure Data Explorer neodstraní objekty blob po ingestování. Zachovejte objekty blob po dobu tří až pěti dnů pomocí životního cyklu služby Azure Blob Storage ke správě odstraňování objektů blob.

Poznámka

Aktivace příjmu CopyBlob dat po operaci se nepodporuje u účtů úložiště, u kterých je povolená funkce hierarchického oboru názvů.

Odebrání datového připojení Event Gridu

Chcete-li odebrat připojení Event Grid z Azure Portal, proveďte následující kroky:

  1. Přejděte do clusteru. V nabídce vlevo vyberte Databáze. Pak vyberte databázi, která obsahuje cílovou tabulku.
  2. V nabídce vlevo vyberte Datová připojení. Pak zaškrtněte políčko vedle příslušného datového připojení Event Gridu.
  3. V horním řádku nabídek vyberte Odstranit.

Související obsah