Získání dat z AmazonU S3

V tomto článku se dozvíte, jak získat data z AmazonU S3 do nové nebo existující tabulky. Amazon S3 je služba úložiště objektů vytvořená pro ukládání a načítání dat.

Další informace o Amazon S3 naleznete v tématu Co je Amazon S3?.

Požadavky

Zdroj

  1. Na dolním panelu databáze KQL vyberte Získat data.

    V okně Načíst data je vybrána záložka Zdroj.

  2. Vyberte zdroj dat z dostupného seznamu. V tomto příkladu ingestujete data z Amazon S3.

    Snímek obrazovky dlaždic pro získání dat s možností Amazon S3 zvýrazněnou.

Konfigurujte

  1. Vyberte cílovou tabulku. Pokud chcete ingestovat data do nové tabulky, vyberte +Nová tabulka a zadejte název tabulky.

    Poznámka

    Názvy tabulek můžou mít maximálně 1024 znaků včetně mezer, alfanumerických znaků, pomlček a podtržítka. Speciální znaky nejsou podporovány.

  2. Do pole identifikátoru URI vložte připojovací řetězec jednoho kontejneru nebo jednotlivého objektu v následujícím formátu.

    Bucket: https://NázevBucketu.s3.NázevRegionu.amazonaws.com;AwsCredentials=AwsIdentifikátorPřístupu,AwsTajnýKlíč

    Volitelně můžete filtry kbelíků použít k filtrování dat podle konkrétní přípony souboru.

    Snímek obrazovky s kartou Konfigurovat s novou tabulkou zadaná a vloženým připojovacím řetězcem Amazon S3

  3. Vyberte Další.

Inspekce

Otevře se karta Kontrola s náhledem dat.

Proces příjmu dat dokončíte výběrem možnosti Dokončit.

Snímek obrazovky s kartou

Ingestovaná data můžete zobrazit, zkontrolovat a nakonfigurovat. Čísla na obrázku odpovídají těmto možnostem:

(1) Vyberte Prohlížeč příkazů k zobrazení a zkopírování automatických příkazů vygenerovaných z vašich vstupů.

(2) Pomocí rozevíracího seznamu „soubor definice schématu“ změňte soubor, ze kterého je schéma odvozeno.

(3) Změňte automaticky odvozený formát dat výběrem požadovaného formátu z rozevíracího seznamu. Další informace najdete v tématu Formáty dat podporované Real-Time Intelligence.

(4) Upravit sloupce.

(5) Prozkoumejte pokročilé možnosti na základě typu dat.

Úprava sloupců

Poznámka

  • U tabulkových formátů (CSV, TSV, PSV) nemůžete namapovat sloupec dvakrát. Pokud chcete mapovat na existující sloupec, nejprve odstraňte nový sloupec.
  • Existující typ sloupce nelze změnit. Pokud se pokusíte namapovat na sloupec s jiným formátem, můžete skončit s prázdnými sloupci.

Změny, které můžete provést v tabulce, závisí na následujících parametrech:

  • Typ tabulky je nový nebo existující
  • Typ mapování je nový nebo existující
Typ tabulky Typ mapování Dostupné úpravy
Nová tabulka Nové mapování Přejmenování sloupce, změna datového typu, změna zdroje dat, transformace mapování, přidání sloupce, odstranění sloupce
Existující tabulka Nové mapování Přidejte sloupec (u kterého pak můžete změnit datový typ, přejmenovat a aktualizovat)
Existující tabulka Existující mapování žádný

Snímek obrazovky se sloupci otevřenými pro úpravy

Mapování transformací

Některá mapování formátu dat (Parquet, JSON a Avro) podporují jednoduché transformace v čase ingestování. Pokud chcete použít transformace mapování, vytvořte nebo aktualizujte sloupec v okně Upravit sloupce.

Transformace mapování je možné provést u sloupce typu řetězec nebo datum a čas, přičemž zdroj má datový typ int nebo long. Další informace najdete v úplném seznamu podporovaných mapovacích transformací.

Rozšířené možnosti založené na datovém typu

Tabulkový soubor (CSV, TSV, PSV):

  • Pokud ingestujete tabulkové formáty v existující tabulce, můžete vybrat Rozšířené>Zachovat schéma tabulky. Tabulková data nemusí nutně obsahovat názvy sloupců, které se používají k mapování zdrojových dat na existující sloupce. Pokud je tato možnost zaškrtnutá, mapování se provádí podle pořadí a schéma tabulky zůstane stejné. Pokud tato možnost není zaškrtnutá, vytvoří se nové sloupce pro příchozí data bez ohledu na strukturu dat.

    Snímek obrazovky rozšířených možností.

  • Tabulková data nemusí nutně obsahovat názvy sloupců, které se používají k mapování zdrojových dat na existující sloupce. Pokud chcete použít první řádek jako názvy sloupců, vyberte První řádek je záhlaví sloupce.

    Snímek obrazovky přepínače, kde první řádek je záhlaví sloupce.

Shrnutí

V okně Příprava dat jsou všechny tři kroky označené zelenými značkami zaškrtnutí, jakmile se příjem dat úspěšně dokončí. Můžete vybrat kartu pro dotazování, smazat ingestovaná data nebo zobrazit panel pro přehled souhrnu vašich dat.

Snímek obrazovky se stránkou souhrnu s úspěšným importem