Dela via


Skapa en Event Hubs-dataanslutning för Azure Data Explorer

Azure Data Explorer erbjuder inmatning från Event Hubs, en plattform för stordataströmning och händelseinmatningstjänst. Event Hubs kan bearbeta miljontals händelser per sekund nästan i realtid.

I den här artikeln ansluter du till en händelsehubb och matar in data i Azure Data Explorer. En översikt över inmatning från Event Hubs finns i Azure Event Hubs dataanslutning.

Information om hur du skapar anslutningen med kusto-SDK:er finns i Skapa en Event Hubs-dataanslutning med SDK:er.

Kodexempel som baseras på tidigare SDK-versioner finns i den arkiverade artikeln.

Skapa en händelsehubbdataanslutning

I det här avsnittet upprättar du en anslutning mellan händelsehubben och din Azure Data Explorer-tabell. Så länge den här anslutningen är på plats överförs data från händelsehubben till måltabellen. Om händelsehubben flyttas till en annan resurs eller prenumeration måste du uppdatera eller återskapa anslutningen.

Förutsättningar

Hämta data

  1. Välj Fråga på den vänstra menyn.

  2. Högerklicka på databasen där du vill mata in data. Välj Hämta data.

    Skärmbild av frågefliken med högerklicka på en databas och dialogrutan Hämta alternativ öppen.

Källa

I fönstret Hämta data väljs fliken Källa .

Välj datakällan i den tillgängliga listan. I det här exemplet matar du in data från Event Hubs.

Skärmbild av hämta datafönstret med källfliken markerad.

Konfigurera

  1. Välj en måldatabas och tabell. Om du vill mata in data i en ny tabell väljer du + Ny tabell och anger ett tabellnamn.

    Anteckning

    Tabellnamn kan vara upp till 1 024 tecken, inklusive blanksteg, alfanumeriskt, bindestreck och understreck. Specialtecken stöds inte.

    Skärmbild av fliken Konfigurera med fält för att konfigurera datakällan för Event Hubs i Azure Data Explorer.

  2. Fyll i följande fält:

    Inställning Fältbeskrivning
    Prenumeration Prenumerations-ID:t där händelsehubbens resurs finns.
    Namnområde för händelsehubb Namnet som identifierar ditt namnområde.
    Händelsehubb Den händelsehubb som du vill
    Konsumentgrupp Konsumentgruppen som definierats i din händelse
    Namn på dataanslutning Namnet som identifierar din dataanslutning.
    Avancerad filtrering
    Komprimering Komprimeringstypen för händelsehubbens nyttolast.
    Egenskaper för händelsesystem Systemegenskaper för händelsehubben. Om det finns flera poster per händelsemeddelande läggs systemegenskaperna till i den första. När du lägger till systemegenskaper skapar eller uppdaterar du tabellschema och mappning så att de valda egenskaperna inkluderas.
    Startdatum för händelsehämtning Dataanslutningen hämtar befintliga Event Hubs-händelser som skapats efter händelsehämtningens startdatum. Endast händelser som behålls av Event Hubs kvarhållningsperiod kan hämtas. Om startdatumet för händelsehämtning inte har angetts är standardtiden den tidpunkt då dataanslutningen skapas.
  3. Välj Nästa

Inspektera

Fliken Inspektera öppnas med en förhandsgranskning av data.

Slutför inmatningsprocessen genom att välja Slutför.

Skärmbild av granskning av data för inmatning från Event Hubs till Azure Data Explorer.

Valfritt:

  • Om de data som visas i förhandsgranskningsfönstret inte är fullständiga kan du behöva mer data för att skapa en tabell med alla nödvändiga datafält. Använd följande kommandon för att hämta nya data från din händelsehubb:

    • Ignorera och hämta nya data: Tar bort de data som visas och söker efter nya händelser.

    • Hämta mer data: Söker efter fler händelser utöver de händelser som redan har hittats.

      Anteckning

      Om du vill se en förhandsgranskning av dina data måste händelsehubben skicka händelser.

  • Välj Kommandovisningsprogram för att visa och kopiera de automatiska kommandon som genereras från dina indata.

  • Använd listrutan Schemadefinitionsfil för att ändra filen som schemat härleds från.

  • Ändra det automatiskt härledda dataformatet genom att välja önskat format i listrutan. Se Dataformat som stöds av Azure Data Explorer för inmatning.

  • Redigera kolumner.

  • Utforska Avancerade alternativ baserat på datatyp.

Redigera kolumner

Anteckning

  • För tabellformat (CSV, TSV, PSV) kan du inte mappa en kolumn två gånger. Om du vill mappa till en befintlig kolumn tar du först bort den nya kolumnen.
  • Du kan inte ändra en befintlig kolumntyp. Om du försöker mappa till en kolumn med ett annat format kan du få tomma kolumner.

Vilka ändringar du kan göra i en tabell beror på följande parametrar:

  • Tabelltypen är ny eller befintlig
  • Mappningstypen är ny eller befintlig
Tabelltyp Mappningstyp Tillgängliga justeringar
Ny tabell Ny mappning Byt namn på kolumn, ändra datatyp, ändra datakälla, mappningstransformering, lägga till kolumn, ta bort kolumn
Befintlig tabell Ny mappning Lägg till kolumn (där du sedan kan ändra datatyp, byta namn och uppdatera)
Befintlig tabell Befintlig mappning inget

Skärmbild av kolumner som är öppna för redigering.

Mappning av transformeringar

Vissa dataformatmappningar (Parquet, JSON och Avro) stöder enkla inmatningstidstransformeringar. Om du vill använda mappningstransformeringar skapar eller uppdaterar du en kolumn i fönstret Redigera kolumner .

Mappningstransformeringar kan utföras på en kolumn av typen sträng eller datetime, där källan har datatypen int eller lång. Mappningstransformeringar som stöds är:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

Avancerade alternativ baserat på datatyp

Tabell (CSV, TSV, PSV):

  • Om du matar in tabellformat i en befintlig tabell kan du välja Avancerat>behåll aktuellt tabellschema. Tabelldata innehåller inte nödvändigtvis de kolumnnamn som används för att mappa källdata till befintliga kolumner. När det här alternativet är markerat görs mappningen i ordning och tabellschemat förblir detsamma. Om det här alternativet är avmarkerat skapas nya kolumner för inkommande data, oavsett datastruktur.

  • Om du vill använda den första raden som kolumnnamn väljer du Avancerad>första rad är kolumnrubrik.

    Skärmbild av avancerade CSV-alternativ.

JSON:

  • Om du vill fastställa kolumndelning av JSON-data väljer du Avancerade>kapslade nivåer, från 1 till 100.

  • Om du väljer Fel i avancerat>ignorera dataformat matas data in i JSON-format. Om du lämnar den här kryssrutan avmarkerad matas data in i multijson-format.

    Skärmbild av avancerade JSON-alternativ.

Sammanfattning

I fönstret Dataförberedelse markeras alla tre stegen med gröna bockmarkeringar när datainmatningen har slutförts. Du kan visa de kommandon som användes för varje steg eller välja ett kort för att fråga, visualisera eller släppa inmatade data.

Sammanfattningsbild av hur du hämtar data från Event Hubs i Azure Data Explorer.

Ta bort en händelsehubbdataanslutning

Ta bort dataanslutningen via Azure Portal enligt beskrivningen på portalfliken.