Získání dat z AmazonU S3

Příjem dat je proces načítání dat z jednoho nebo více zdrojů do tabulky v Azure Data Explorer. Po příjmu dat jsou data k dispozici pro dotaz. V tomto článku se dozvíte, jak získat data z AmazonU S3 do nové nebo existující tabulky.

Další informace o Amazon S3 naleznete v tématu Co je Amazon S3?

Obecné informace o příjmu dat najdete v tématu Azure Data Explorer přehled příjmu dat.

Požadavky

  • Identita uživatele účtu Microsoft nebo uživatelská identita Microsoft Entra. Nepotřebujete předplatné Azure.
  • Přihlaste se k webovému uživatelskému rozhraní Azure Data Explorer.
  • Cluster a databáze Azure Data Explorer. Vytvořte cluster a databázi.

Získat data

  1. V nabídce vlevo vyberte Dotaz .

  2. Klikněte pravým tlačítkem myši na databázi, do které chcete data ingestovat, a pak vyberte Získat data.

    Snímek obrazovky dotazového panelu s pravým kliknutím na databázi a otevřeným dialogem Získat možnosti.

Zdroj

V okně Načíst data je vybrána karta Zdroj.

Vyberte zdroj dat z dostupného seznamu. V tomto příkladu přejímá data z Amazon S3.

Snímek obrazovky okna Získat data s vybranou záložkou Zdroj

Konfigurovat

  1. Vyberte cílovou databázi a tabulku. Pokud chcete ingestovat data do nové tabulky, vyberte + Nová tabulka a zadejte název tabulky.

    Poznámka:

    Názvy tabulek můžou mít maximálně 1 024 znaků, včetně mezer, alfanumerických znaků, pomlček a podtržítka. Speciální znaky nejsou podporovány.

  2. Do pole URI vložte připojovací řetězec pro jeden kontejner nebo jednotlivé objekty v následujícím formátu.

    Kbelík: https://BucketName.s3.RegionName.amazonaws.com

    Objekt: ObjectName;AwsCredentials=AwsAccessID,AwsSecretKey

    Volitelně můžete filtry kbelíků použít k filtrování dat podle konkrétní přípony souboru.

    Snímek obrazovky konfigurační záložky s novou tabulkou a vloženým připojovacím řetězcem Amazon S3.

    Poznámka:

    Import podporuje maximální omezení velikosti souboru 6 GB. Doporučujeme ingestovat soubory mezi 100 MB a 1 GB.

  3. Vyberte Další.

Inspekce

Otevře se karta Kontrola s náhledem dat.

Proces příjmu dat dokončíte výběrem možnosti Dokončit.

Snímek obrazovky se záložkou Inspektor

Nepovinná možnost:

Upravit sloupce

Poznámka:

  • U tabulkových formátů (CSV, TSV, PSV) nemůžete namapovat sloupec dvakrát. Pokud chcete namapovat na existující sloupec, nejprve odstraňte nový sloupec.
  • Existující typ sloupce nelze změnit. Pokud se pokusíte namapovat na sloupec s jiným formátem, můžete skončit s prázdnými sloupci.

Změny, které můžete provést v tabulce, závisí na následujících parametrech:

  • Typ tabulky je nový nebo existující
  • Typ mapování je nový nebo existující
Typ tabulky Typ mapování Dostupné úpravy
Nová tabulka Nové mapování Přejmenování sloupce, změna datového typu, změna zdroje dat, transformace mapování, přidání sloupce, odstranění sloupce
Existující tabulka Nové mapování Přidejte sloupec (u kterého pak můžete změnit datový typ, přejmenovat a aktualizovat)
Existující tabulka Existující mapování Žádná

Snímek obrazovky s otevřenými sloupci pro úpravy

Mapování transformací

Některá mapování formátu dat (Parquet, JSON a Avro) podporují jednoduché transformace v čase ingestování. Pokud chcete použít transformace mapování, vytvořte nebo aktualizujte sloupec v okně Upravit sloupce .

Transformace mapování je možné provést u sloupce typu řetězec nebo datum a čas, přičemž zdroj má datový typ int nebo long. Podporované transformace mapování jsou:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

Rozšířené možnosti založené na datovém typu

Tabulka (CSV, TSV, PSV):

  • Pokud ingestujete tabulkové formáty v existující tabulce, můžete vybrat rozevírací seznam mapování tabulek a vybrat Použít existující mapování. Tabulková data nemusí nutně obsahovat názvy sloupců, které se používají k mapování zdrojových dat na existující sloupce. Pokud je tato možnost zaškrtnutá, mapování se provádí podle pořadí a schéma tabulky zůstane stejné.

  • V opačném případě vytvořte nové mapování.

  • Pokud chcete jako názvy sloupců použít první řádek, vyberte záhlaví prvního řádku.

    Snímek obrazovky s možnostmi mapování

JSON:

  • Pokud chcete určit dělení sloupců dat JSON, vyberte vnořené úrovně od 1 do 100.

Shrnutí

V okně Přípravy dat se po úspěšném dokončení příjmu dat zobrazují všechny tři kroky zelené značky zaškrtnutí. Můžete zobrazit příkazy, které jednotlivé kroky používají, nebo můžete vybrat kartu pro dotazování, vizualizaci nebo vyřazení přijatých dat.

Snímek obrazovky shrnující stránky s dokončeným úspěšným příjmem dat.