Gegevens ophalen uit Amazon S3

Gegevensopname is het proces van het laden van gegevens uit een of meer bronnen in een tabel in Azure Data Explorer. Na opname zijn de gegevens beschikbaar voor query's. In dit artikel leert u hoe u gegevens van Amazon S3 kunt ophalen in een nieuwe of bestaande tabel.

Zie Wat is Amazon S3 voor meer informatie over Amazon S3?

Zie Azure Data Explorer overzicht van gegevensopname voor algemene informatie over gegevensopname.

Vereiste voorwaarden

  • Een Microsoft-account of een Microsoft Entra gebruikersidentiteit. U hebt geen Azure abonnement nodig.
  • Meld u aan bij de webgebruikersinterface van Azure Data Explorer.
  • Een Azure Data Explorer cluster en database. Een cluster en database maken.

Gegevens ophalen

  1. Selecteer Query in het linkermenu.

  2. Klik met de rechtermuisknop op de database waarin u de gegevens wilt opnemen en selecteer vervolgens Gegevens ophalen.

    Schermopname van het querytabblad, met de rechtermuisknop op een database en het dialoogvenster Opties ophalen geopend.

Bron

In het venster Gegevens ophalen is het tabblad Bron geselecteerd.

Selecteer de gegevensbron in de beschikbare lijst. In dit voorbeeld neemt u gegevens op uit Amazon S3.

Schermopname van het venster Gegevens ophalen met het tabblad Bron geselecteerd.

Configure

  1. Selecteer een doeldatabase en -tabel. Als u gegevens wilt opnemen in een nieuwe tabel, selecteert u + Nieuwe tabel en voert u een tabelnaam in.

    Opmerking

    Tabelnamen kunnen maximaal 1024 tekens zijn, waaronder spaties, alfanumerieke tekens, afbreekstreepjes en onderstrepingstekens. Speciale tekens worden niet ondersteund.

  2. Plak in het veld URI de verbindingsreeks voor één bucket of een afzonderlijk object in het volgende formaat.

    Bucket: https://BucketName.s3.RegionName.amazonaws.com

    Object: ObjectName;AwsCredentials=AwsAccessID,AwsSecretKey

    U kunt desgewenst bucketfilters toepassen om gegevens te filteren op basis van een specifieke bestandsextensie.

    Scherm van het tabblad Configureren met nieuwe tabel ingevoerd en een Amazon S3-verbindingsreeks geplakt.

    Opmerking

    Invoer ondersteunt een maximale bestandsgrootte van 6 GB. Het wordt aanbevolen bestanden op te nemen tussen 100 MB en 1 GB.

  3. Kies Volgende.

Inspecteren

Het tabblad Inspecteren wordt geopend met een voorbeeld van de gegevens.

Selecteer Voltooien om het opnameproces te voltooien.

Schermopname van het tabblad Inspecteren.

Optioneel:

Kolommen aanpassen

Opmerking

  • Voor tabelformaten (CSV, TSV, PSV) kunt u een kolom niet twee keer mappen. Om naar een bestaande kolom toe te wijzen, verwijdert u eerst de nieuwe kolom.
  • U kunt een bestaand kolomtype niet wijzigen. Als u probeert toe te wijzen aan een kolom met een ander formaat, kunt u uiteindelijk met lege kolommen komen te zitten.

De wijzigingen die u in een tabel kunt aanbrengen, zijn afhankelijk van de volgende parameters:

  • Het type tabel is nieuw of bestaand
  • Het mappingtype is nieuw of bestaand
Tabeltype Koppelingstype Beschikbare aanpassingen
Nieuwe tabel Nieuwe kaart Naam van kolom wijzigen, gegevenstype wijzigen, gegevensbron wijzigen, toewijzingstransformatie, kolom toevoegen, kolom verwijderen
Bestaande tabel Nieuwe kaart Kolom toevoegen (waarop u vervolgens het gegevenstype, de naam kunt wijzigen en bijwerken)
Bestaande tabel Bestaande koppeling none

Schermopname van kolommen die zijn geopend om te bewerken.

Transformaties in kaart brengen

Sommige gegevensformaatkoppelingen (Parquet, JSON en Avro) bieden ondersteuning voor eenvoudige transformaties tijdens het inlezen. Om mappingtransformaties toe te passen, maakt of bewerkt u een kolom in het Kolommen bewerken venster.

Mappingtransformaties kunnen worden uitgevoerd op een kolom met het type string of datetime, waarbij de bron het gegevenstype int of long heeft. Ondersteunde toewijzingstransformaties zijn:

  • DateTimeFromUnixSeconden
  • DateTimeFromUnixMilliseconds
  • **DateTimeFromUnixMicroseconds** (conversie van Unix-tijd in microseconden naar een DateTime-object)
  • DateTimeFromUnixNanoseconden

Geavanceerde opties op basis van gegevenstype

Tabellair (CSV, TSV, PSV):

  • Als u tabelindelingen in een bestaande tabel opneemt, kunt u de vervolgkeuzelijst voor tabeltoewijzing openen en Bestaande toewijzing gebruiken selecteren. Tabelgegevens bevatten niet noodzakelijkerwijs de kolomnamen die worden gebruikt om brongegevens toe te wijzen aan de bestaande kolommen. Wanneer deze optie is aangevinkt, wordt de toewijzing op volgorde uitgevoerd en blijft het tabelschema hetzelfde.

  • Maak anders een nieuwe mapping.

  • Als u de eerste rij wilt gebruiken als kolomnamen, selecteert u De eerste rijkop.

    Schermopname van kaartenopties.

JSON:

  • Als u de kolomverdeling van JSON-gegevens wilt bepalen, selecteert u Geneste niveaus, van 1 tot en met 100.

Samenvatting

In het venster Gegevensvoorbereiding worden in alle drie de stappen groene vinkjes weergegeven wanneer de gegevensopname is voltooid. U kunt de opdrachten bekijken die door elke stap worden gebruikt of een kaart selecteren om de opgenomen gegevens op te vragen, te visualiseren of te verwijderen.

Schermopname van de overzichtspagina met geslaagde opname voltooid.