Adatok lekérése az Amazon S3-ból

Ebből a cikkből megtudhatja, hogyan kérhet le adatokat az Amazon S3-ból egy új vagy meglévő táblába. Az Amazon S3 egy objektumtárolási szolgáltatás, amely adatok tárolására és lekérésére készült.

További információ az Amazon S3-ról: Mi az Amazon S3?

Előfeltételek

Forrás

  1. A KQL-adatbázis alsó menüszalagján válassza az Adatok lekérése lehetőséget.

    Az Adatok lekérése ablakban a Forrás lap van kijelölve.

  2. Válassza ki az adatforrást az elérhető listából. Ebben a példában az Amazon S3-ból fog adatokat betöltésre.

    Screenshot of get data window with source tab selected.

Konfigurálás

  1. Válasszon ki egy céltáblát. Ha adatokat szeretne bevinni egy új táblába, válassza az +Új tábla lehetőséget, és adjon meg egy táblanevet.

    Megjegyzés:

    A táblázatnevek legfeljebb 1024 karakter hosszúságúak lehetnek, például szóközök, alfanumerikusak, kötőjelek és aláhúzásjelek. A speciális karakterek nem támogatottak.

  2. Az URI mezőbe illessze be egyetlen gyűjtő vagy egy objektum kapcsolati sztring az alábbi formátumban.

    Gyűjtő: https://BucketName.s3.RegionName.amazonaws.com;AwsCredentials=AwsAccessID,AwsSecretKey

    Szükség esetén gyűjtőszűrőket is alkalmazhat az adatok adott fájlkiterjesztés szerinti szűréséhez.

    Screenshot of configure tab with new table entered and an Amazon S3 connection string pasted.

  3. Válassza a Következő lehetőséget.

Vizsgálat

Megnyílik a Vizsgálat lap az adatok előnézetével.

A betöltési folyamat befejezéséhez válassza a Befejezés lehetőséget.

Screenshot of the inspect tab.

Vagy:

  • Válassza a Parancsmegjelenítő lehetőséget a bemenetekből létrehozott automatikus parancsok megtekintéséhez és másolásához.
  • A sémadefiníciós fájl legördülő listájával módosíthatja azt a fájlt, amelyből a séma származik.
  • Az automatikusan kikövetkezési adatformátum módosításához válassza ki a kívánt formátumot a legördülő listából. További információ: Valós idejű elemzés által támogatott adatformátumok.
  • Oszlopok szerkesztése.
  • Az adattípus alapján megismerheti a speciális beállításokat.

Oszlopok szerkesztése

Megjegyzés:

  • Táblázatos formátumok (CSV, TSV, PSV) esetén nem lehet kétszer leképezni az oszlopokat. Ha meglévő oszlopra szeretne megfeleltetni, először törölje az új oszlopot.
  • Meglévő oszloptípus nem módosítható. Ha más formátumú oszlopra próbál megfeleltetni, előfordulhat, hogy üres oszlopokat fog létrehozni.

A táblázatban végrehajtott módosítások a következő paraméterektől függnek:

  • A táblatípus új vagy meglévő
  • A leképezési típus új vagy meglévő
Táblatípus Leképezés típusa Elérhető módosítások
Új tábla Új leképezés Oszlop átnevezése, adattípus módosítása, adatforrás módosítása, leképezési átalakítás, oszlop hozzáadása, oszlop törlése
Meglévő tábla Új leképezés Oszlop hozzáadása (amelyen ezután módosíthatja az adattípust, átnevezheti és frissítheti)
Meglévő tábla Meglévő leképezés Nincs

Screenshot of columns open for editing.

Leképezési átalakítások

Egyes adatformátum-leképezések (Parquet, JSON és Avro) támogatják az egyszerű betöltési idejű átalakításokat. A leképezési átalakítások alkalmazásához hozzon létre vagy frissítsen egy oszlopot az Oszlopok szerkesztése ablakban.

A leképezési átalakítások egy sztring típusú vagy datetime típusú oszlopon végezhetők el, és a forrás adattípusa int vagy long. A támogatott leképezési átalakítások a következők:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

Speciális beállítások adattípus alapján

Táblázatos (CSV, TSV, PSV):

  • Ha táblázatos formátumokat használ egy meglévő táblában, válassza az Advanced>Keep táblaséma lehetőséget. A táblázatos adatok nem feltétlenül tartalmazzák a forrásadatok meglévő oszlopokhoz való leképezéséhez használt oszlopneveket. Ha ez a beállítás be van jelölve, a leképezés sorrendben történik, és a táblaséma változatlan marad. Ha ez a beállítás nincs bejelölve, a rendszer az adatstruktúrától függetlenül új oszlopokat hoz létre a bejövő adatokhoz.

  • Ha az első sort oszlopnévként szeretné használni, válassza a Speciális>első sor oszlopfejléc lehetőséget.

    Screenshot of advanced CSV options.

JSON:

  • A JSON-adatok oszlopelosztásának meghatározásához válassza a Speciális>beágyazott szintek lehetőséget 1 és 100 között.

  • Ha a JSON-sorok speciális>kihagyása lehetőséget választja hibákkal, az adatok JSON formátumban lesznek betöltve. Ha bejelöletlenül hagyja ezt a jelölőnégyzetet, az adatok több-egyenhangos formátumban lesznek betöltve.

    Screenshot of advanced JSON options.

Összesítés

Az Adat-előkészítés ablakban mind a három lépés zöld pipával van megjelölve, amikor az adatbetöltés sikeresen befejeződik. Kiválaszthat egy kártyát a lekérdezéshez, elvetheti a betöltött adatokat, vagy megtekintheti a betöltési összegzés irányítópultját.

Screenshot of summary page with successful ingestion completed.