Vytvoření datového připojení služby Event Hubs pro Azure Data Explorer

Azure Data Explorer nabízí příjem dat ze služby Event Hubs, což je platforma pro streamování velkých objemů dat a služba pro příjem událostí. Event Hubs dokáže zpracovávat miliony událostí za sekundu téměř v reálném čase.

V tomto článku se připojíte k centru událostí a ingestujete data do Azure Data Explorer. Přehled ingestování ze služby Event Hubs najdete v tématu Azure Event Hubs datové připojení.

Informace o tom, jak vytvořit připojení pomocí sad Kusto SDK, najdete v tématu Vytvoření datového připojení služby Event Hubs pomocí sad SDK.

Ukázky kódu založené na předchozích verzích sady SDK najdete v archivovaného článku.

Vytvoření datového připojení centra událostí

V této části navážete spojení mezi centrem událostí a tabulkou Azure Data Explorer. Pokud je toto připojení na místě, data se přenášejí z centra událostí do cílové tabulky. Pokud se centrum událostí přesune do jiného prostředku nebo předplatného, budete muset aktualizovat nebo znovu vytvořit připojení.

Získání dat

Požadavky

• Účet Microsoft nebo identita uživatele Microsoft Entra. Předplatné Azure se nevyžaduje.
• Cluster a databáze Azure Data Explorer. Vytvořte cluster a databázi.
• V clusteru Azure Data Explorer musí být nakonfigurované ingestování streamování.

Získání dat

1. V nabídce vlevo vyberte Dotaz.

2. Klikněte pravým tlačítkem na databázi, ve které chcete ingestovat data. Vyberte Získat data.

   

Source

V okně Načíst data je vybraná karta Zdroj .

V seznamu dostupných vyberte zdroj dat. V tomto příkladu ingestujete data ze služby Event Hubs.

Konfigurace

1. Vyberte cílovou databázi a tabulku. Pokud chcete ingestovat data do nové tabulky, vyberte + Nová tabulka a zadejte název tabulky.

   Poznámka

   Názvy tabulek můžou mít maximálně 1024 znaků včetně mezer, alfanumerických znaků, pomlček a podtržítka. Speciální znaky nejsou podporovány.

   

2. Vyplňte následující pole:

   Nastavení	Popis pole
   Předplatné	ID předplatného, ve kterém se nachází prostředek centra událostí.
   Obor názvů centra událostí	Název, který identifikuje váš obor názvů.
   Centrum událostí	Centrum událostí, které chcete
   Skupina uživatelů	Skupina příjemců definovaná ve vaší události
   Název datového připojení	Název, který identifikuje vaše datové připojení.
   Rozšířené filtry
   Komprese	Typ komprese datové části zpráv centra událostí.
   Vlastnosti systému událostí	Systémové vlastnosti centra událostí. Pokud je v jedné zprávě události více záznamů, přidají se k první z nich systémové vlastnosti. Při přidávání systémových vlastností vytvořte nebo aktualizujte schéma tabulky a mapování tak, aby zahrnovalo vybrané vlastnosti.
   Počáteční datum načtení události	Datové připojení načte existující události služby Event Hubs vytvořené po počátečním datu načtení události. Je možné načíst pouze události, které uchovává doba uchovávání služby Event Hubs. Pokud není zadané počáteční datum načtení události , je výchozím časem čas vytvoření datového připojení.

3. Vyberte Další.

Zkontrolovat

Otevře se karta Kontrola s náhledem dat.

Pokud chcete dokončit proces příjmu dat, vyberte Dokončit.

Nepovinná možnost:

• Pokud data, která vidíte v okně náhledu, nejsou úplná, můžete k vytvoření tabulky se všemi potřebnými datovými poli potřebovat další data. Pomocí následujících příkazů načtěte nová data z centra událostí:

  • Zahodit a načíst nová data: Zahodí prezentovaná data a vyhledá nové události.

  • Načtení dalších dat: Kromě již nalezených událostí vyhledá další události.

    Poznámka

    Pokud chcete zobrazit náhled dat, vaše centrum událostí musí odesílat události.

• Vyberte Prohlížeč příkazů a zobrazte a zkopírujte automatické příkazy vygenerované ze vstupů.

• Pomocí rozevíracího seznamu Soubor definice schématu změňte soubor, ze kterého je schéma odvozeno.

• Automaticky odvozený formát dat můžete změnit výběrem požadovaného formátu z rozevíracího seznamu. Viz Formáty dat podporované službou Azure Data Explorer pro příjem dat.

• Upravit sloupce.

• Prozkoumejte pokročilé možnosti na základě datového typu.

Upravit sloupce

Poznámka

• U tabulkových formátů (CSV, TSV, PSV) nemůžete namapovat sloupec dvakrát. Pokud chcete namapovat existující sloupec, nejprve odstraňte nový sloupec.
• Existující typ sloupce není možné změnit. Pokud se pokusíte namapovat na sloupec s jiným formátem, můžete skončit s prázdnými sloupci.

Změny, které můžete v tabulce provést, závisí na následujících parametrech:

• Typ tabulky je nový nebo existující
• Typ mapování je nový nebo existující

Typ tabulky	Typ mapování	Dostupné úpravy
Nová tabulka	Nové mapování	Přejmenování sloupce, změna datového typu, změna zdroje dat, transformace mapování, přidání sloupce, odstranění sloupce
Existující tabulka	Nové mapování	Přidat sloupec (ve kterém pak můžete změnit datový typ, přejmenovat a aktualizovat)
Existující tabulka	Existující mapování	žádné

Mapování transformací

Některá mapování formátů dat (Parquet, JSON a Avro) podporují jednoduché transformace v době ingestování. Pokud chcete použít transformace mapování, vytvořte nebo aktualizujte sloupec v okně Upravit sloupce .

Transformace mapování je možné provádět u sloupce typu řetězec nebo datetime, přičemž zdroj má datový typ int nebo long. Mezi podporované transformace mapování patří:

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Upřesnit možnosti na základě datového typu

Tabulkové (CSV, TSV, PSV):

• Pokud ingestujete tabulkové formáty v existující tabulce, můžete vybrat Upřesnit>Zachovat aktuální schéma tabulky. Tabulková data nemusí nutně obsahovat názvy sloupců, které se používají k mapování zdrojových dat na existující sloupce. Pokud je tato možnost zaškrtnutá, mapování se provádí podle pořadí a schéma tabulky zůstane stejné. Pokud není tato možnost zaškrtnutá, vytvoří se nové sloupce pro příchozí data bez ohledu na strukturu dat.

• Pokud chcete použít první řádek jako názvy sloupců, vyberte Upřesnit>První řádek je záhlaví sloupce.

  

JSON:

• Pokud chcete určit dělení sloupců dat JSON, vyberte Pokročilé>vnořené úrovně od 1 do 100.

• Pokud vyberete Upřesnit>Ignorovat chyby formátu dat, data se ingestují ve formátu JSON. Pokud toto políčko nezaškrtnete, budou se data ingestovat ve formátu multijson.

  

Souhrn

V okně Příprava dat jsou všechny tři kroky po úspěšném dokončení příjmu dat označené zelenými značkami zaškrtnutí. Můžete zobrazit příkazy použité pro jednotlivé kroky nebo vybrat kartu pro dotazování, vizualizaci nebo odstranění přijatých dat.

Portál – stránka Azure Data Explorer

Požadavky

• Předplatné Azure. Vytvořte si bezplatný účet Azure.
• Cluster a databáze Azure Data Explorer. Vytvořte cluster a databázi.
• Cílová tabulka. Vytvořte tabulku nebo použijte existující tabulku.
• Mapování příjmu dat pro tabulku
• Centrum událostí s daty pro příjem dat.

Získání dat

1. V Azure Portal přejděte do clusteru a vyberte Databáze. Pak vyberte databázi, která obsahuje cílovou tabulku.

   

2. V nabídce vlevo vyberte Příjem dat. Pak na horním panelu vyberte Přidat datové připojení.

3. Vyplňte formulář následujícími informacemi a pak vyberte Vytvořit.

   Nastavení	Navrhovaná hodnota	Popis pole
   Název datového připojení	test-hub-connection	Název připojení, které chcete vytvořit v Azure Data Exploreru
   Předplatné		ID předplatného, ve kterém se nachází prostředek centra událostí.
   Obor názvů centra událostí	Jedinečný název oboru názvů	Název, který jste zvolili dříve a který identifikuje váš obor názvů
   Centrum událostí	test-hub	Centrum událostí, které jste vytvořili
   Skupina uživatelů	test-group	Skupina uživatelů, kterou jste definovali v centrum událostí, které jste vytvořili
   Systémové vlastnosti událostí	Výběr relevantních vlastností	Systémové vlastnosti centra událostí. Pokud je v každé zprávě události více záznamů, přidají se k prvnímu záznamu systémové vlastnosti. Při přidávání systémových vlastností vytvořte nebo aktualizujte schéma tabulky a mapování tak, aby zahrnovalo vybrané vlastnosti.
   Komprese	Žádný	Typ komprese datové části zpráv centra událostí. Podporované typy komprese: None, Gzip.
   Spravovaná identita (doporučeno)	Přiřazeno systémem	Spravovaná identita používaná clusterem Data Explorer pro přístup ke čtení z centra událostí. K řízení přístupu k centru událostí doporučujeme používat spravované identity. Poznámka: Při vytvoření datového připojení: * Identity přiřazené systémem se vytvoří automaticky, pokud neexistují. * Spravované identitě se automaticky přiřadí role příjemce dat Azure Event Hubs a přidá se do clusteru Data Explorer. Doporučujeme ověřit, že se role přiřadila a že se identita přidala do clusteru.

   Poznámka

   Pokud máte existující datové připojení, které nepoužívá spravované identity, doporučujeme ho aktualizovat tak, aby používalo spravované identity.

Portál – stránka Azure Event Hubs

Požadavky

• Předplatné Azure. Vytvořte si bezplatný účet Azure.
• Cluster a databáze Azure Data Explorer. Vytvořte cluster a databázi.
• Cílová tabulka. Vytvořte tabulku nebo použijte existující tabulku.
• Mapování příjmu dat pro tabulku
• Centrum událostí s daty pro příjem dat.

Získání dat

1. V Azure Portal přejděte k vaší instanci služby Event Hubs.

2. V boční nabídce Funkce vyberte Analyzovat data pomocí Kusto.

3. Výběrem možnosti Start otevřete průvodce příjmem dat do Azure Data Explorer.

   

   Poznámka

   • Musíte mít alespoň oprávnění uživatele databáze .
   • Pokud chcete povolit přístup mezi clusterem a účtem úložiště bez veřejného přístupu, přečtěte si téma Vytvoření spravovaného privátního koncového bodu.
   • Cluster a centrum událostí by měly být přidružené ke stejným tenantům. Pokud ne, použijte některou z možností sady SDK, jako je C# nebo Python.

4. Otevře se podokno na straně Ingestování dat s vybranou kartou Cíl . V rozevíracích sadě vyberte pole Cluster a Databáze . Ujistěte se, že jste vybrali cluster, který je spuštěný. Jinak nebudete moct vybrat možnost Databáze a pokračovat v procesu příjmu dat.

5. V části Tabulka vyberte Nová tabulka a zadejte název nové tabulky. Případně můžete použít existující tabulku.

6. Vyberte Další: Zdroj.

7. V části Typ zdroje se typ a podrobnosti centra událostí automaticky vyplnit na základě instance služby Event Hubs, ze které jste začali.

8. V části Datové připojení vyplňte následující pole a vyberte Další: Schéma.

   Nastavení	Navrhovaná hodnota	Popis pole
   Předplatné		ID předplatného, ve kterém se nachází prostředek centra událostí.
   Obor názvů centra událostí		Název, který identifikuje váš obor názvů.
   Centrum událostí		Centrum událostí, které chcete použít.
   Název datového připojení	TestDataConnection	Název, který identifikuje vaše datové připojení.
   Skupina uživatelů		Skupina příjemců definovaná v centru událostí.
   Komprese		Typ komprese datové části zpráv centra událostí.
   Systémové vlastnosti událostí	Výběr relevantních vlastností	Systémové vlastnosti centra událostí. Pokud je v jedné zprávě události více záznamů, přidají se k první z nich systémové vlastnosti. Při přidávání systémových vlastností vytvořte nebo aktualizujte schéma tabulky a mapování tak, aby zahrnovalo vybrané vlastnosti.
   Počáteční datum načtení události	Koordinovaný univerzální čas (UTC)	Datové připojení načte existující události služby Event Hubs vytvořené po počátečním datu načtení události. Načíst je možné pouze události uchováné dobou uchovávání služby Event Hubs. Pokud není zadané počáteční datum načtení události , je výchozím časem čas vytvoření datového připojení.

9. Pokud je pro cluster povolené streamování , můžete vybrat Příjem dat streamování. Pokud pro cluster není povolené streamování, nastavte latenci dávkování dat. U služby Event Hubs je doporučená doba dávkování 30 sekund.

   

10. Vyberte Formát dat. U dat ve formátu CSV ignorujte první záznam , aby se ignoroval řádek záhlaví souboru. Pokud chcete ingestovat data ve formátu JSON, vyberte Ignorovat chyby formátu dat a ingestujte data ve formátu JSON nebo nechte nevybrané, pokud chcete ingestovat data ve vícejsonovém formátu. Vyberte Vnořené úrovně a určete dělení dat sloupce tabulky.

11. Pokud data, která vidíte v okně náhledu, nejsou úplná, můžete k vytvoření tabulky se všemi potřebnými datovými poli potřebovat další data. K načtení nových dat z centra událostí použijte následující příkazy:

    • Zahodit a načíst nová data: Zahodí prezentovaná data a vyhledá nové události.
    • Načíst další data: Vyhledá další události kromě již nalezených událostí.

    Poznámka

    Pokud chcete zobrazit náhled dat, vaše centrum událostí musí odesílat události.

12. Vyberte Další: Souhrn.

13. V okně Průběžný příjem dat z vytvořeného centra událostí jsou všechny kroky po úspěšném dokončení vytváření označeny zelenými značkami zaškrtnutí.

Šablona ARM

Požadavky

• Předplatné Azure. Vytvořte si bezplatný účet Azure.
• Cluster a databáze Azure Data Explorer. Vytvořte cluster a databázi.
• Cílová tabulka. Vytvořte tabulku nebo použijte existující tabulku.
• Mapování příjmu dat pro tabulku
• Centrum událostí s daty pro příjem dat.

Šablona ARM

Následující příklad ukazuje šablonu Azure Resource Manager pro přidání datového připojení služby Event Hubs. Šablonu můžete upravit a nasadit v Azure Portal pomocí formuláře.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Odebrání datového připojení centra událostí

Získání dat

Odeberte datové připojení prostřednictvím Azure Portal, jak je vysvětleno na kartě portálu.

Azure Portal

Pokud chcete z Azure Portal odebrat připojení centra událostí, postupujte takto:

1. Přejděte do clusteru. V nabídce vlevo vyberte Databáze. Pak vyberte databázi, která obsahuje cílovou tabulku.
2. V nabídce vlevo vyberte Datová připojení. Pak zaškrtněte políčko vedle příslušného datového připojení centra událostí.
3. V horním řádku nabídek vyberte Odstranit.

Související obsah

• Kontrola připojení k ukázkové aplikaci zpráv centra událostí
• Dotazování na data ve webovém uživatelském rozhraní