Hämta data från Azure Storage

Datainmatning är den process som används för att läsa in data från en eller flera källor till en tabell i Azure Data Explorer. När data har matats in blir de tillgängliga för frågor. I den här artikeln får du lära dig hur du hämtar data från Azure Storage (ADLS Gen2-container, blobcontainer eller enskilda blobar) till antingen en ny eller befintlig tabell.

Inmatning kan utföras som en engångsåtgärd eller som en kontinuerlig metod. Kontinuerlig inmatning kan endast konfigureras via portalen.

Allmän information om datainmatning finns i Översikt över Datainmatning i Azure Data Explorer.

Förutsättningar

Hämta data

  1. Välj Fråga på den vänstra menyn.

  2. Högerklicka på databasen där du vill mata in data. Välj Hämta data.

    Skärmbild av frågefliken med högerklicka på en databas och dialogrutan Hämta alternativ öppen.

Källa

I fönstret Hämta data väljs fliken Källa .

Välj datakällan i den tillgängliga listan. I det här exemplet matar du in data från Azure Storage.

Skärmbild av hämta datafönstret med källfliken markerad.

Konfigurera

  1. Välj en måldatabas och tabell. Om du vill mata in data i en ny tabell väljer du + Ny tabell och anger ett tabellnamn.

    Anteckning

    Tabellnamn kan vara upp till 1 024 tecken, inklusive blanksteg, alfanumeriskt, bindestreck och understreck. Specialtecken stöds inte.

  2. Om du vill lägga till källan väljer du Välj container eller Lägg till URI.

    1. Om du har valt Välj container fyller du i följande fält:

      Skärmbild av fliken Konfigurera med ny tabell angiven och en exempeldatafil markerad.

      Inställning Fältbeskrivning
      Prenumeration Prenumerations-ID:t där lagringskontot finns.
      Lagringskonto Namnet som identifierar ditt lagringskonto.
      Container Den lagringscontainer som du vill mata in.
      Filfilter (valfritt)
      Mappsökväg Filtrerar data för att mata in filer med en specifik mappsökväg.
      Filnamnstillägg Filtrerar data för att endast mata in filer med ett specifikt filnamnstillägg.
    2. Om du har valt Lägg till URI klistrar du in lagrings-anslutningssträng för en blobcontainer eller enskilda filer i URI-fältet och väljer +sedan .

      Anteckning

      • Du kan lägga till upp till 10 enskilda blobar. Varje blob kan vara högst 1 GB okomprimerad.
      • Du kan mata in upp till 5 000 blobar från en enda container.

      Skärmbild av fliken Konfigurera med anslutningssträng klistras in i URI-fältet.

  3. Välj Nästa

Inspektera

Fliken Inspektera öppnas med en förhandsgranskning av data.

Slutför inmatningsprocessen genom att välja Slutför.

Skärmbild av fliken Granska.

Valfritt:

Redigera kolumner

Anteckning

  • För tabellformat (CSV, TSV, PSV) kan du inte mappa en kolumn två gånger. Om du vill mappa till en befintlig kolumn tar du först bort den nya kolumnen.
  • Du kan inte ändra en befintlig kolumntyp. Om du försöker mappa till en kolumn med ett annat format kan du få tomma kolumner.

Vilka ändringar du kan göra i en tabell beror på följande parametrar:

  • Tabelltypen är ny eller befintlig
  • Mappningstypen är ny eller befintlig
Tabelltyp Mappningstyp Tillgängliga justeringar
Ny tabell Ny mappning Byt namn på kolumn, ändra datatyp, ändra datakälla, mappningstransformering, lägga till kolumn, ta bort kolumn
Befintlig tabell Ny mappning Lägg till kolumn (där du sedan kan ändra datatyp, byta namn och uppdatera)
Befintlig tabell Befintlig mappning inget

Skärmbild av kolumner som är öppna för redigering.

Mappning av transformeringar

Vissa dataformatmappningar (Parquet, JSON och Avro) stöder enkla inmatningstidstransformeringar. Om du vill använda mappningstransformeringar skapar eller uppdaterar du en kolumn i fönstret Redigera kolumner .

Mappningstransformeringar kan utföras på en kolumn av typen sträng eller datetime, där källan har datatypen int eller lång. Mappningstransformeringar som stöds är:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

Avancerade alternativ baserat på datatyp

Tabell (CSV, TSV, PSV):

  • Om du matar in tabellformat i en befintlig tabell kan du välja Avancerat>behåll aktuellt tabellschema. Tabelldata innehåller inte nödvändigtvis de kolumnnamn som används för att mappa källdata till befintliga kolumner. När det här alternativet är markerat görs mappningen i ordning och tabellschemat förblir detsamma. Om det här alternativet är avmarkerat skapas nya kolumner för inkommande data, oavsett datastruktur.

  • Om du vill använda den första raden som kolumnnamn väljer du Avancerad>första rad är kolumnrubrik.

    Skärmbild av avancerade CSV-alternativ.

JSON:

  • Om du vill fastställa kolumndivisionen för JSON-data väljer du Avancerade>kapslade nivåer, från 1 till 100.

  • Om du väljer Fel i avancerat>ignorera dataformat matas data in i JSON-format. Om du lämnar den här kryssrutan omarkerad matas data in i multijson-format.

    Skärmbild av avancerade JSON-alternativ.

Sammanfattning

I fönstret Dataförberedelse markeras alla tre stegen med gröna bockmarkeringar när datainmatningen har slutförts. Du kan visa de kommandon som användes för varje steg eller välja ett kort för att fråga, visualisera eller släppa inmatade data.

Skärmbild av sammanfattningssidan med slutförd inmatning.