Skapa en Event Hubs-dataanslutning för Azure Data Explorer

Azure Data Explorer erbjuder inmatning från Event Hubs, en plattform för stordataströmning och händelseinmatningstjänst. Event Hubs kan bearbeta miljontals händelser per sekund nästan i realtid.

I den här artikeln ansluter du till en händelsehubb och matar in data i Azure Data Explorer. En översikt över inmatning från Event Hubs finns i Azure Event Hubs dataanslutning.

Information om hur du skapar anslutningen med kusto-SDK:er finns i Skapa en Event Hubs-dataanslutning med SDK:er.

Kodexempel som baseras på tidigare SDK-versioner finns i den arkiverade artikeln.

Skapa en händelsehubbdataanslutning

I det här avsnittet upprättar du en anslutning mellan händelsehubben och din Azure Data Explorer-tabell. Så länge den här anslutningen är på plats överförs data från händelsehubben till måltabellen. Om händelsehubben flyttas till en annan resurs eller prenumeration måste du uppdatera eller återskapa anslutningen.

Hämta data

Förutsättningar

• Ett Microsoft-konto eller en Microsoft Entra användaridentitet. En Azure-prenumeration krävs inte.
• Ett Azure Data Explorer-kluster och en databas. Skapa ett kluster och en databas.
• Direktuppspelningsinmatning måste konfigureras i ditt Azure Data Explorer-kluster.

Hämta data

1. Välj Fråga på den vänstra menyn.

2. Högerklicka på databasen där du vill mata in data. Välj Hämta data.

   

Källa

I fönstret Hämta data väljs fliken Källa .

Välj datakällan i den tillgängliga listan. I det här exemplet matar du in data från Event Hubs.

Konfigurera

1. Välj en måldatabas och tabell. Om du vill mata in data i en ny tabell väljer du + Ny tabell och anger ett tabellnamn.

   Anteckning

   Tabellnamn kan vara upp till 1 024 tecken, inklusive blanksteg, alfanumeriskt, bindestreck och understreck. Specialtecken stöds inte.

   

2. Fyll i följande fält:

   Inställning	Fältbeskrivning
   Prenumeration	Prenumerations-ID:t där händelsehubbens resurs finns.
   Namnområde för händelsehubb	Namnet som identifierar ditt namnområde.
   Händelsehubb	Den händelsehubb som du vill
   Konsumentgrupp	Konsumentgruppen som definierats i din händelse
   Namn på dataanslutning	Namnet som identifierar din dataanslutning.
   Avancerad filtrering
   Komprimering	Komprimeringstypen för händelsehubbens nyttolast.
   Egenskaper för händelsesystem	Systemegenskaper för händelsehubben. Om det finns flera poster per händelsemeddelande läggs systemegenskaperna till i den första. När du lägger till systemegenskaper skapar eller uppdaterar du tabellschema och mappning så att de valda egenskaperna inkluderas.
   Startdatum för händelsehämtning	Dataanslutningen hämtar befintliga Event Hubs-händelser som skapats efter händelsehämtningens startdatum. Endast händelser som behålls av Event Hubs kvarhållningsperiod kan hämtas. Om startdatumet för händelsehämtning inte har angetts är standardtiden den tidpunkt då dataanslutningen skapas.

3. Välj Nästa

Inspektera

Fliken Inspektera öppnas med en förhandsgranskning av data.

Slutför inmatningsprocessen genom att välja Slutför.

Valfritt:

• Om de data som visas i förhandsgranskningsfönstret inte är fullständiga kan du behöva mer data för att skapa en tabell med alla nödvändiga datafält. Använd följande kommandon för att hämta nya data från din händelsehubb:

  • Ignorera och hämta nya data: Tar bort de data som visas och söker efter nya händelser.

  • Hämta mer data: Söker efter fler händelser utöver de händelser som redan har hittats.

    Anteckning

    Om du vill se en förhandsgranskning av dina data måste händelsehubben skicka händelser.

• Välj Kommandovisningsprogram för att visa och kopiera de automatiska kommandon som genereras från dina indata.

• Använd listrutan Schemadefinitionsfil för att ändra filen som schemat härleds från.

• Ändra det automatiskt härledda dataformatet genom att välja önskat format i listrutan. Se Dataformat som stöds av Azure Data Explorer för inmatning.

• Redigera kolumner.

• Utforska Avancerade alternativ baserat på datatyp.

Redigera kolumner

Anteckning

• För tabellformat (CSV, TSV, PSV) kan du inte mappa en kolumn två gånger. Om du vill mappa till en befintlig kolumn tar du först bort den nya kolumnen.
• Du kan inte ändra en befintlig kolumntyp. Om du försöker mappa till en kolumn med ett annat format kan du få tomma kolumner.

Vilka ändringar du kan göra i en tabell beror på följande parametrar:

• Tabelltypen är ny eller befintlig
• Mappningstypen är ny eller befintlig

Tabelltyp	Mappningstyp	Tillgängliga justeringar
Ny tabell	Ny mappning	Byt namn på kolumn, ändra datatyp, ändra datakälla, mappningstransformering, lägga till kolumn, ta bort kolumn
Befintlig tabell	Ny mappning	Lägg till kolumn (där du sedan kan ändra datatyp, byta namn och uppdatera)
Befintlig tabell	Befintlig mappning	inget

Mappning av transformeringar

Vissa dataformatmappningar (Parquet, JSON och Avro) stöder enkla inmatningstidstransformeringar. Om du vill använda mappningstransformeringar skapar eller uppdaterar du en kolumn i fönstret Redigera kolumner .

Mappningstransformeringar kan utföras på en kolumn av typen sträng eller datetime, där källan har datatypen int eller lång. Mappningstransformeringar som stöds är:

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Avancerade alternativ baserat på datatyp

Tabell (CSV, TSV, PSV):

• Om du matar in tabellformat i en befintlig tabell kan du välja Avancerat>behåll aktuellt tabellschema. Tabelldata innehåller inte nödvändigtvis de kolumnnamn som används för att mappa källdata till befintliga kolumner. När det här alternativet är markerat görs mappningen i ordning och tabellschemat förblir detsamma. Om det här alternativet är avmarkerat skapas nya kolumner för inkommande data, oavsett datastruktur.

• Om du vill använda den första raden som kolumnnamn väljer du Avancerad>första rad är kolumnrubrik.

  

JSON:

• Om du vill fastställa kolumndelning av JSON-data väljer du Avancerade>kapslade nivåer, från 1 till 100.

• Om du väljer Fel i avancerat>ignorera dataformat matas data in i JSON-format. Om du lämnar den här kryssrutan avmarkerad matas data in i multijson-format.

  

Sammanfattning

I fönstret Dataförberedelse markeras alla tre stegen med gröna bockmarkeringar när datainmatningen har slutförts. Du kan visa de kommandon som användes för varje steg eller välja ett kort för att fråga, visualisera eller släppa inmatade data.

Portal – Azure Data Explorer-sida

Förutsättningar

• En Azure-prenumeration. Skapa ett kostnadsfritt Azure-konto.
• Ett Azure Data Explorer-kluster och en databas. Skapa ett kluster och en databas.
• En måltabell. Skapa en tabell eller använd en befintlig tabell.
• En inmatningsmappning för tabellen.
• En händelsehubb med data för inmatning.

Hämta data

1. I Azure Portal går du till klustret och väljer Databaser. Välj sedan den databas som innehåller måltabellen.

   

2. Välj Datainmatning på den vänstra menyn. Välj sedan Lägg till dataanslutning i det övre fältet.

3. Fyll i formuläret med följande information och välj sedan Skapa.

   Inställning	Föreslaget värde	Fältbeskrivning
   Namn på dataanslutning	test-hub-connection	Namnet på anslutningen som du vill skapa i Azure Data Explorer.
   Prenumeration		Prenumerations-ID:t där händelsehubbens resurs finns.
   Namnområde för händelsehubb	Ett unikt namnområdesnamn	Namnet som du valde tidigare, som identifierar ditt namnområde.
   Händelsehubb	test-hub	Händelsehubben som du skapade.
   Konsumentgrupp	test-group	Konsumentgruppen som definierades i hubben som du skapade.
   Egenskaper för händelsesystem	Välj relevanta egenskaper	Systemegenskaper för händelsehubben. Om det finns flera poster per händelsemeddelande läggs systemegenskaperna till i den första posten. När du lägger till systemegenskaper skapar eller uppdaterar du tabellschema och mappning så att de valda egenskaperna inkluderas.
   Komprimering	Ingen	Komprimeringstypen för händelsehubbens nyttolast. Komprimeringstyper som stöds: Ingen, Gzip.
   Hanterad identitet (rekommenderas)	Systemtilldelad	Den hanterade identitet som används av Data Explorer-klustret för åtkomst till läsning från händelsehubben. Vi rekommenderar att du använder hanterade identiteter för att styra åtkomsten till din händelsehubb. Obs! När dataanslutningen skapas: * Systemtilldelade identiteter skapas automatiskt om de inte finns * Den hanterade identiteten tilldelas automatiskt rollen Azure Event Hubs datamottagare och läggs till i ditt Data Explorer kluster. Vi rekommenderar att du kontrollerar att rollen har tilldelats och att identiteten har lagts till i klustret.

   Anteckning

   Om du har en befintlig dataanslutning som inte använder hanterade identiteter rekommenderar vi att du uppdaterar den för att använda hanterade identiteter.

Portal – Azure Event Hubs sida

Förutsättningar

• En Azure-prenumeration. Skapa ett kostnadsfritt Azure-konto.
• Ett Azure Data Explorer-kluster och en databas. Skapa ett kluster och en databas.
• En måltabell. Skapa en tabell eller använd en befintlig tabell.
• En inmatningsmappning för tabellen.
• En händelsehubb med data för inmatning.

Hämta data

1. I Azure Portal bläddrar du till din Event Hubs-instans.

2. Under menyn Funktioner väljer du Analysera data med Kusto.

3. Välj Starta för att öppna inmatningsguiden till Azure Data Explorer.

   

   Anteckning

   • Du måste ha minst behörigheter för databasanvändare .
   • Information om hur du aktiverar åtkomst mellan ett kluster och ett lagringskonto utan offentlig åtkomst finns i Skapa en hanterad privat slutpunkt.
   • Klustret och händelsehubben ska associeras med samma klientorganisationer. Om inte använder du något av SDK-alternativen, till exempel C# eller Python.

4. Fönstret Mata in data öppnas med fliken Mål markerad. Välj fälten Kluster och Databas i listrutorna. Se till att du väljer ett kluster som körs. Annars kan du inte välja Databas och fortsätta med inmatningsprocessen.

5. Under Tabell väljer du Ny tabell och anger ett namn för den nya tabellen. Du kan också använda en befintlig tabell.

6. Välj Nästa: Källa.

7. Under Källtyp fylls händelsehubbens typ och information i automatiskt baserat på den Event Hubs-instans som du startade från.

8. Under Dataanslutning fyller du i följande fält och väljer Nästa: Schema.

   Inställning	Föreslaget värde	Fältbeskrivning
   Prenumeration		Prenumerations-ID:t där händelsehubbens resurs finns.
   Namnområde för händelsehubb		Namnet som identifierar ditt namnområde.
   Händelsehubb		Den händelsehubb som du vill använda.
   Namn på dataanslutning	TestDataConnection	Namnet som identifierar din dataanslutning.
   Konsumentgrupp		Konsumentgruppen som definierats i din händelsehubb.
   Komprimering		Komprimeringstypen för händelsehubbens nyttolast.
   Egenskaper för händelsesystem	Välj relevanta egenskaper	Systemegenskaper för händelsehubben. Om det finns flera poster per händelsemeddelande läggs systemegenskaperna till i den första. När du lägger till systemegenskaper skapar eller uppdaterar du tabellschema och mappning så att de valda egenskaperna inkluderas.
   Startdatum för händelsehämtning	Coordinated Universal Time (UTC)	Dataanslutningen hämtar befintliga Event Hubs-händelser som skapats efter händelsehämtningens startdatum. Endast händelser som behålls av Event Hubs kvarhållningsperiod kan hämtas. Om startdatumet för händelsehämtning inte har angetts är standardtiden den tidpunkt då dataanslutningen skapas.

9. Om direktuppspelning är aktiverat för klustret kan du välja Direktuppspelningsinmatning. Om strömning inte är aktiverat för klustret anger du svarstiden för databatchbearbetning. För Event Hubs är den rekommenderade batchtiden 30 sekunder.

   

10. Välj dataformatet. För CSV-formaterade data ignorerar du den första posten för att ignorera rubrikraden i filen. För JSON-formaterade data väljer du Ignorera dataformatfel för att mata in data i JSON-format eller lämnar omarkerade för att mata in data i multijson-format. Välj kapslade nivåer för att fastställa tabellkolumnens datadivision.

11. Om de data som visas i förhandsgranskningsfönstret inte är fullständiga kan du behöva mer data för att skapa en tabell med alla nödvändiga datafält. Använd följande kommandon för att hämta nya data från din händelsehubb:

    • Ignorera och hämta nya data: tar bort de data som visas och söker efter nya händelser.
    • Hämta mer data: Söker efter fler händelser utöver de händelser som redan har hittats.

    Anteckning

    Om du vill se en förhandsgranskning av dina data måste händelsehubben skicka händelser.

12. Välj Nästa: Sammanfattning.

13. I fönstret Kontinuerlig inmatning från händelsehubben markeras alla steg med gröna bockmarkeringar när etableringen har slutförts.

ARM-mall

Förutsättningar

• En Azure-prenumeration. Skapa ett kostnadsfritt Azure-konto.
• Ett Azure Data Explorer-kluster och en databas. Skapa ett kluster och en databas.
• En måltabell. Skapa en tabell eller använd en befintlig tabell.
• En inmatningsmappning för tabellen.
• En händelsehubb med data för inmatning.

ARM-mall

I följande exempel visas en Azure Resource Manager-mall för att lägga till en Event Hubs-dataanslutning. Du kan redigera och distribuera mallen i Azure Portal med hjälp av formuläret .

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Ta bort en händelsehubbdataanslutning

Hämta data

Ta bort dataanslutningen via Azure Portal enligt beskrivningen på portalfliken.

Portal

Gör följande för att ta bort händelsehubbens anslutning från Azure Portal:

1. Gå till klustret. Välj Databaser på den vänstra menyn. Välj sedan den databas som innehåller måltabellen.
2. Välj Dataanslutningar på den vänstra menyn. Markera sedan kryssrutan bredvid den relevanta händelsehubbens dataanslutning.
3. Välj Ta bort på den översta menyraden.

Relaterat innehåll

• Kontrollera anslutningen till exempelmeddelandeappen för händelsehubben
• Fråga efter data i webbgränssnittet