Získání dat ze služby Azure Storage

Příjem dat je proces, který se používá k načtení dat z jednoho nebo více zdrojů do tabulky v Azure Data Explorer. Po ingestování budou data k dispozici pro dotaz. V tomto článku se dozvíte, jak získat data z úložiště Azure (kontejner ADLS Gen2, kontejner objektů blob nebo jednotlivé objekty blob) do nové nebo existující tabulky.

Příjem dat lze provést jako jednorázovou operaci nebo jako průběžnou metodu. Průběžný příjem dat je možné nakonfigurovat jenom prostřednictvím portálu.

Obecné informace o příjmu dat najdete v tématu Přehled příjmu dat v Azure Data Explorer.

Požadavky

Získání dat

  1. V nabídce vlevo vyberte Dotaz.

  2. Klikněte pravým tlačítkem na databázi, ve které chcete ingestovat data. Vyberte Získat data.

    Snímek obrazovky s kartou dotazu s kliknutím pravým tlačítkem na databázi a otevřením dialogového okna získat možnosti

Source

V okně Načíst data je vybraná karta Zdroj .

V seznamu dostupných vyberte zdroj dat. V tomto příkladu ingestujete data ze služby Azure Storage.

Snímek obrazovky s oknem Získat data s vybranou kartou Zdroj

Konfigurace

  1. Vyberte cílovou databázi a tabulku. Pokud chcete ingestovat data do nové tabulky, vyberte + Nová tabulka a zadejte název tabulky.

    Poznámka

    Názvy tabulek můžou mít maximálně 1024 znaků včetně mezer, alfanumerických znaků, pomlček a podtržítka. Speciální znaky nejsou podporovány.

  2. Pokud chcete přidat zdroj, vyberte Vybrat kontejner nebo Přidat identifikátor URI.

    1. Pokud jste vybrali Vybrat kontejner, vyplňte následující pole:

      Snímek obrazovky s kartou Konfigurace se zadanou novou tabulkou a vybraným ukázkovým datovým souborem

      Nastavení Popis pole
      Předplatné ID předplatného, ve kterém se nachází účet úložiště.
      Účet úložiště Název, který identifikuje váš účet úložiště.
      Kontejner Kontejner úložiště, který chcete ingestovat.
      Filtry souborů (volitelné)
      Cesta ke složce Filtruje data na ingestování souborů s konkrétní cestou ke složce.
      Přípona souboru Filtruje data na ingestování souborů pouze s konkrétní příponou.
    2. Pokud jste vybrali Přidat identifikátor URI, vložte připojovací řetězec úložiště pro kontejner objektů blob nebo jednotlivé soubory do pole URI a pak vyberte +.

      Poznámka

      • Můžete přidat až 10 jednotlivých objektů blob. Každý objekt blob může mít maximálně 1 GB bez dekomprimace.
      • Z jednoho kontejneru můžete ingestovat až 5 000 objektů blob.

      Snímek obrazovky s kartou Konfigurace s připojovací řetězec vloženým do pole URI

  3. Vyberte Další.

Zkontrolovat

Otevře se karta Kontrola s náhledem dat.

Pokud chcete dokončit proces příjmu dat, vyberte Dokončit.

Snímek obrazovky s kartou Kontrola

Nepovinná možnost:

Upravit sloupce

Poznámka

  • U tabulkových formátů (CSV, TSV, PSV) nemůžete namapovat sloupec dvakrát. Pokud chcete namapovat existující sloupec, nejprve odstraňte nový sloupec.
  • Existující typ sloupce není možné změnit. Pokud se pokusíte namapovat na sloupec s jiným formátem, můžete skončit s prázdnými sloupci.

Změny, které můžete v tabulce provést, závisí na následujících parametrech:

  • Typ tabulky je nový nebo existující
  • Typ mapování je nový nebo existující
Typ tabulky Typ mapování Dostupné úpravy
Nová tabulka Nové mapování Přejmenování sloupce, změna datového typu, změna zdroje dat, transformace mapování, přidání sloupce, odstranění sloupce
Existující tabulka Nové mapování Přidat sloupec (ve kterém pak můžete změnit datový typ, přejmenovat a aktualizovat)
Existující tabulka Existující mapování žádné

Snímek obrazovky s otevřenými sloupci pro úpravy

Mapování transformací

Některá mapování datových formátů (Parquet, JSON a Avro) podporují jednoduché transformace v čase ingestace. Pokud chcete použít transformace mapování, vytvořte nebo aktualizujte sloupec v okně Upravit sloupce .

Transformace mapování je možné provádět u sloupce typu řetězec nebo datetime, přičemž zdroj má datový typ int nebo long. Mezi podporované transformace mapování patří:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

Upřesňující možnosti na základě datového typu

Tabulkové (CSV, TSV, PSV):

  • Pokud v existující tabulce ingestujete tabulkové formáty, můžete vybrat Upřesnit>zachovat aktuální schéma tabulky. Tabulková data nemusí nutně obsahovat názvy sloupců, které se používají k mapování zdrojových dat na existující sloupce. Pokud je tato možnost zaškrtnutá, mapování se provádí podle pořadí a schéma tabulky zůstane stejné. Pokud není tato možnost zaškrtnutá, vytvoří se nové sloupce pro příchozí data bez ohledu na strukturu dat.

  • Pokud chcete použít první řádek jako názvy sloupců, vyberte Upřesnit>První řádek je záhlaví sloupce.

    Snímek obrazovky s rozšířenými možnostmi sdíleného svazku clusteru

JSON:

  • Pokud chcete určit dělení sloupců dat JSON, vyberte Pokročilé>vnořené úrovně od 1 do 100.

  • Pokud vyberete Upřesnit>Ignorovat chyby formátu dat, data se ingestují ve formátu JSON. Pokud toto políčko nezaškrtnete, budou se data ingestovat ve formátu multijson.

    Snímek obrazovky s rozšířenými možnostmi JSON

Souhrn

V okně Příprava dat jsou všechny tři kroky po úspěšném dokončení příjmu dat označené zelenými značkami zaškrtnutí. Můžete zobrazit příkazy použité pro jednotlivé kroky nebo vybrat kartu pro dotazování, vizualizaci nebo odstranění přijatých dat.

Snímek obrazovky se stránkou souhrnu s úspěšným příjmem dat