Zdieľať cez


Získanie údajov z úložiska platformy Azure

V tomto článku sa dozviete, ako získať údaje zo služby Azure Storage (kontajner ADLS Gen2, kontajner objektu BLOB alebo jednotlivé objekty BLOB) do novej alebo existujúcej tabuľky.

Požiadavky

Source

  1. Na dolnom páse s nástrojmi databázy KQL vyberte položku Získať údaje.

    V okne Získať údaje je vybratá karta Zdroj.

  2. Zo zoznamu k dispozícii vyberte zdroj údajov. V tomto príklade ingestujete údaje z úložiska Azure.

    Snímka obrazovky znázorňujúca okno Získať údaje s vybratou kartou zdroja.

Konfigurácia

  1. Vyberte cieľovú tabuľku. Ak chcete ingestovať údaje do novej tabuľky, vyberte položku + Nová tabuľka a zadajte názov tabuľky.

    Poznámka

    Názvy tabuliek môžu mať maximálne 1 024 znakov vrátane medzier, alfanumerických znakov, spojovoviek a znakov podčiarknutia. Špeciálne znaky nie sú podporované.

  2. Ak chcete pridať zdroj údajov, prilepte svoje úložisko reťazec pripojenia do poľa identifikátora URI a potom vyberte položku +. Nasledujúca tabuľka uvádza podporované metódy overovania a povolenia potrebné na ingestovanie údajov z úložiska Azure.

    Metóda overovania Individuálny objekt BLOB Kontajner objektu BLOB Azure Data Lake Storage Gen2
    Token zdieľaného prístupu (SAS) Čítať a zapisovať Čítať a zoznam Čítať a zoznam
    Prístupový kľúč konta úložiska

    Poznámka

    • Z jedného kontajnera môžete pridať až 10 jednotlivých objektov BLOB alebo ingestovať až do 5 000 objektov BLOB. Nemôžete prejdú obe naraz.
    • Každý objekt BLOB môže mať maximálnu veľkosť 1 GB nekomprimovaného objektu.
    1. Ak ste prilepili reťazec pripojenia kontajnera objektu BLOB alebo služby Azure Data Lake Storage Gen2, môžete pridať nasledujúce voliteľné filtre:

      Snímka obrazovky znázorňujúca kartu Konfigurácia so zadanou novou tabuľkou a jedným vybratým vzorovým súborom údajov.

      Nastavenie Popis poľa
      Filtre súborov (voliteľné)
      Cesta k priečinku Filtruje údaje na ingest súborov s konkrétnou cestou k priečinku.
      Rozšírenia súboru Filtruje údaje iba na súbory ingestu s konkrétnou príponou súboru.
  3. Vyberte Ďalej

Skontrolovať

Otvorí sa karta Kontrola s ukážkou údajov.

Proces príjmu dokončíte výberom položky Dokončiť.

Snímka obrazovky karty kontrola.

Voliteľne:

  • Výberom položky Zobrazovač príkazov zobrazte a skopírujte automatické príkazy vygenerované zo vstupov.
  • Pomocou rozbaľovacieho zoznamu súboru definície schémy môžete zmeniť súbor, z ktorému je schéma odvodená.
  • Automaticky odvodený formát údajov môžete zmeniť výberom požadovaného formátu z rozbaľovacieho zoznamu. Ďalšie informácie nájdete v téme Formáty údajov podporované funkciou Inteligencia v reálnom čase.
  • Upraviť stĺpce.
  • Preskúmajte rozšírené možnosti na základe typu údajov.

Úprava stĺpcov

Poznámka

  • V prípade tabuľkových formátov (CSV, TSV, PSV) nie je možné priradiť stĺpec dvakrát. Ak chcete priradiť k existujúcemu stĺpcu, najskôr odstráňte nový stĺpec.
  • Nemôžete zmeniť existujúci typ stĺpca. Ak sa pokúsite priradiť stĺpec, ktorý má iný formát, pravdepodobne budete mať prázdne stĺpce.

Zmeny, ktoré môžete vykonať v tabuľke, závisia od nasledujúcich parametrov:

  • Typ tabuľky je nový alebo existujúci
  • Typ mapovania je nový alebo existujúci
Typ tabuľky Typ mapovania Dostupné úpravy
Nová tabuľka Nové priradenie Premenovanie stĺpca, zmena typu údajov, zmena zdroja údajov, transformácia priradenia, pridanie stĺpca, odstránenie stĺpca
Existujúca tabuľka Nové priradenie Pridať stĺpec (v ktorom môžete potom zmeniť typ údajov, premenovať a aktualizovať)
Existujúca tabuľka Existujúce priradenie žiadne

Snímka obrazovky stĺpcov otvorených na úpravu.

Transformácie mapovania

Niektoré priradenia formátov údajov (Parquet, JSON a Avro) podporujú jednoduché transformácie času ingestu. Ak chcete použiť transformácie mapovania, vytvorte alebo aktualizujte stĺpec v okne Upraviť stĺpce .

Transformácie mapovania možno vykonať v stĺpci typu reťazec alebo dátum a čas, pričom zdroj má typ údajov int alebo long. Podporované transformácie mapovania sú:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

Rozšírené možnosti na základe typu údajov

Tabular (CSV, TSV, PSV):

  • Ak preberáte tabuľkové formáty v existujúcej tabuľke, môžete vybrať možnosť Rozšírená>schéma ponechať tabuľku. Tabuľkové údaje nemusia nevyhnutne obsahovať názvy stĺpcov, ktoré sa používajú na priradenie zdrojových údajov k existujúcim stĺpcom. Keď je táto možnosť začiarknuté, priradenie sa vykoná podľa poradia a schéma tabuľky zostáva rovnaká. Ak táto možnosť nezačiarknete, na prichádzajúce údaje sa vytvoria nové stĺpce bez ohľadu na štruktúru údajov.

  • Ak chcete použiť prvý riadok ako názvy stĺpcov, vyberte položku Rozšírený>prvý riadok je hlavička stĺpca.

    Snímka obrazovky s rozšírenými možnosťami csv.

JSON:

  • Ak chcete určiť delenie údajov JSON stĺpcom, vyberte položku Rozšírené>vnorené úrovne od 1 do 100.

  • Ak vyberiete položku Rozšírené>riadky vynechať JSON s chybami, údaje sa prejdú vo formáte JSON. Ak toto políčko začiarknete začiarknuté, údaje sa ingestujú vo formáte multijson.

    Snímka obrazovky s rozšírenými možnosťami JSON.

Súhrn

V okne Príprava údajov sú všetky tri kroky označené zelenými značkami začiarknutia po úspešnom dokončení príjmu údajov. Kartu môžete vybrať na dotazovanie, zrušenie prijatia údajov alebo zobrazenie tabule súhrnu príjmu.

Snímka obrazovky zobrazujúca stránku súhrnu s úspešným dokončením príjmu.