Konfigurer Amazon S3 i en kopiaktivitet

I denne artikel beskrives det, hvordan du bruger kopiaktiviteten i en datapipeline til at kopiere data fra og til Amazon S3.

Påkrævede tilladelser

Hvis du vil kopiere data fra Amazon S3, skal du sørge for, at du har fået tildelt følgende tilladelser til Amazon S3-objekthandlinger: s3:GetObject og s3:GetObjectVersion.

Derudover kræves der tilladelser til s3:ListBucket/s3:GetBucketLocation handlinger, s3:ListAllMyBuckets f.eks. test af forbindelse og gennemsyn fra roden.

Du kan se den komplette liste over Amazon S3-tilladelser ved at gå til Angivelse af tilladelser i en politik på AWS-webstedet.

Understøttet format

Amazon S3 understøtter følgende filformater. Se hver artikel for at få formatbaserede indstillinger.

Understøttet konfiguration

Hvis du vil konfigurere hver fane under kopiaktivitet, skal du gå til henholdsvis følgende afsnit.

Generelt

Se vejledningen til generelle indstillinger for at konfigurere fanen Generelle indstillinger.

Kilde

Følgende egenskaber understøttes for Amazon S3 under fanen Kilde for en kopiaktivitet.

Screenshot showing source tab and the list of properties.

Følgende egenskaber er påkrævet:

  • Datalagertype: Vælg ekstern.

  • Forbind ion: Vælg en Amazon S3-forbindelse på forbindelseslisten. Hvis der ikke findes nogen forbindelse, skal du oprette en ny Amazon-forbindelse ved at vælge Ny.

  • Forbind ionstype: Vælg Amazon S3 for din forbindelsestype.

  • Filtype: Du kan vælge Filsti, Præfiks, Sti til jokertegn eller Liste over filer som filtype. Konfigurationen for hver indstilling er:

    • Filsti: Hvis du vælger denne type, kan dataene kopieres fra den angivne bucket eller den angivne bucket- og mappesti.

    • Præfiks: Hvis du vælger denne type, skal du angive bucketen og præfikset.

      • Bucket: Angiv S3-bucketnavnet. Det er påkrævet.

      • Præfiks: Angiv præfikset for S3-nøglenavnet under den angivne bucket for at filtrere kilde-S3-filer. S3-nøgler, hvis navne starter med bucket/this_prefix , er valgt. Det bruger S3's tjenestesidefilter, hvilket giver bedre ydeevne end et jokertegnfilter.

        Når du bruger præfikset og vælger at kopiere til en filbaseret destination med bevarelse af hierarkiet, skal du bemærke, at understien efter det sidste "/" præfiks bevares. Du har f.eks. kilde bucket/folder/subfolder/file.txtog konfigurerer præfikset som folder/sub, hvorefter den bevarede filsti er subfolder/file.txt.

      Screenshot showing prefix.

    • Sti til jokertegnfil: Hvis du vælger denne type, skal du angive stierne Bucket og Jokertegn.

      • Bucket: Angiv S3-bucketnavnet. Det er påkrævet.

      • Jokertegnstier: Angiv mappen eller filstien med jokertegn under den angivne bucket for at filtrere kildemapperne eller -filerne.

        Tilladte jokertegn er: * (svarer til nul eller flere tegn) og ? (svarer til nul eller enkelt tegn). Bruges ^ til at escape, hvis mappenavnet har jokertegn eller dette escape-tegn. Se flere eksempler i Eksempler på mappe- og filfilter. Screenshot showing wildcard file path.Sti til jokertegnmappe: Mappestien med jokertegn under den angivne bucket til filtrering af kildemapper.

        Filnavn med jokertegn: Filnavnet med jokertegn under den angivne bucket og mappesti (eller sti til jokertegnmappen) til filtrering af kildefiler.

    • Liste over filer: Hvis du vælger denne type, skal du angive mappestien og listen Sti til fil for at angive, at et bestemt filsæt skal kopieres. Peg på en tekstfil, der indeholder en liste over filer, du vil kopiere, én fil pr. linje, som er den relative sti til den konfigurerede sti. Du kan få flere eksempler ved at gå til Eksempler på fillister.

      Screenshot showing list of files.

      • Mappesti: Angiv stien til mappen under den angivne bucket. Det er påkrævet.
      • Sti til filliste: Angiv stien til den tekstfil, der indeholder en liste over filer, du vil kopiere.
  • Rekursivt: Angiv, om dataene skal læses rekursivt fra undermapperne eller kun fra den angivne mappe. Når Rekursivt vælges, og destinationen er et filbaseret lager, kopieres eller oprettes der ikke en tom mappe eller undermappe på destinationen. Denne egenskab er valgt som standard og gælder ikke, når du konfigurerer sti til filliste.

  • Filformat: Vælg det filformat, der anvendes på rullelisten. Vælg Indstillinger for at konfigurere filformatet. Du kan finde detaljerede oplysninger i artikler i Understøttet format for at få flere oplysninger om indstillinger for forskellige filformater.

Under Avanceret kan du angive følgende felter:

  • Filtrer efter senest ændret: Filer filtreres på baggrund af de senest ændrede datoer, du har angivet. Denne egenskab gælder ikke, når du konfigurerer filtypen som Liste over filer.

    • Starttidspunkt (UTC):Filerne vælges, hvis deres seneste ændringstid er større end eller lig med det konfigurerede tidspunkt.
    • Sluttidspunkt (UTC):Filerne vælges, hvis deres seneste ændringstidspunkt er mindre end det konfigurerede tidspunkt.

    Når Starttidspunkt (UTC) har datetime-værdi, men Sluttidspunkt (UTC) er NULL, betyder det, at de filer, hvis senest ændrede attribut er større end eller lig med datetime-værdien, vælges. Når Sluttidspunkt (UTC) har datetime-værdi, men Starttidspunkt (UTC) er NULL, betyder det, at de filer, hvis senest ændrede attribut er mindre end datetime-værdien, vælges. Egenskaberne kan være NULL, hvilket betyder, at der ikke anvendes et filattributfilter på dataene.

  • Aktivér registrering af partition: Angiv, om partitionerne skal fortolkes fra filstien, og tilføj dem som yderligere kildekolonner. Den er som standard ikke markeret og understøttes ikke, når du bruger binært filformat.

    • Partitionsrodsti: Når registrering af partition er aktiveret, skal du angive den absolutte rodsti for at læse partitionerede mapper som datakolonner.

      Hvis den ikke er angivet som standard,

      • Når du bruger filstien eller listen over filer på kilden, er partitionsrodstien den sti, du har konfigureret.
      • Når du bruger jokertegnmappefilteret, er partitionsrodstien understien før det første jokertegn.
      • Når du bruger præfikset, er partitionsrodstien understien før det sidste "/".

      Hvis du f.eks. konfigurerer stien som root/folder/year=2020/month=08/day=27:

      • Hvis du angiver rodstien for partitionen som root/folder/year=2020, genererer kopiaktivitet to kolonner mere måned og dag med værdien "08" og "27" ud over kolonnerne i filerne.
      • Hvis der ikke er angivet en partitionsrodsti, oprettes der ingen ekstra kolonne.

      Screenshot showing Enable partition discovery.

  • Maks. samtidig forbindelse: Den øvre grænse for samtidige forbindelser, der er oprettet til datalageret under aktivitetskørslen. Angiv kun en værdi, når du vil begrænse samtidige forbindelser.

  • Flere kolonner: Tilføj flere datakolonner for at gemme kildefilernes relative sti eller statiske værdi. Udtrykket understøttes for sidstnævnte.

Destination

Følgende egenskaber understøttes for Amazon S3 under fanen Destination for en kopiaktivitet.

Screenshot showing destination tab and the list of properties.

Følgende egenskaber er påkrævet:

  • Datalagertype: Vælg ekstern.
  • Forbind ion: Vælg en Amazon S3-forbindelse på forbindelseslisten. Hvis der ikke findes nogen forbindelse, skal du oprette en ny Amazon-forbindelse ved at vælge Ny.
  • Forbind ionstype: Vælg Amazon S3 for din forbindelsestype.
  • Filsti: Dataene kan kopieres til den angivne bucket eller den angivne bucket- og mappesti.
  • Filformat: Vælg det filformat, der anvendes på rullelisten. Vælg Indstillinger for at konfigurere filformatet. Du kan finde detaljerede oplysninger i artikler i Understøttet format for at få flere oplysninger om indstillinger for forskellige filformater.

Under Avanceret kan du angive følgende felter:

  • Funktionsmåde for kopiering: Definerer kopifunktionsmåden, når kilden er filer fra et filbaseret datalager. Du kan vælge en funktionsmåde på rullelisten.

    • Fladgør hierarki: Alle filer fra kildemappen er på det første niveau i destinationsmappen. Destinationsfilerne har automatisk genererede navne.
    • Flet filer: Fletter alle filer fra kildemappen til én fil. Hvis filnavnet er angivet, er det flettede filnavn det angivne navn. Ellers er det et automatisk genereret filnavn.
    • Bevar hierarki: Bevarer filhierarkiet i destinationsmappen. Den relative sti for kildefilen til kildemappen er identisk med den relative sti for destinationsfilen til destinationsmappen.
  • Maks. antal samtidige forbindelser: Denne egenskab angiver den øvre grænse for samtidige forbindelser, der er oprettet til datalageret under aktivitetskørslen. Angiv kun en værdi, når du vil begrænse samtidige forbindelser.

Tilknytning

For Konfiguration af fanen Tilknytning skal du gå til Konfigurer dine tilknytninger under fanen Tilknytning. Hvis du vælger Binær som filformat, understøttes tilknytning ikke.

Indstillinger

For konfigurationen af fanen Indstillinger skal du gå til Konfigurer dine andre indstillinger under fanen Indstillinger.

Tabeloversigt

Følgende tabeller indeholder flere oplysninger om kopiaktiviteten i Amazon S3.

Kildeoplysninger

Navn Beskrivelse Værdi Obligatorisk JSON-scriptegenskab
Datalagertype Datalagertypen. Eksternt Ja /
Forbind ion Din forbindelse til kildedatalageret. <din Amazon S3-forbindelse> Ja Forbindelse
Forbind ionstype Vælg en type til forbindelsen. Amazon S3 Ja /
Filtype Den filtype, der bruges til at hente kildedata. Filsti
Præfiks
Sti til jokertegnfil
Liste over filer
Ja /
For filsti
Spand S3-bucketnavnet. <dit bucketnavn> Ja bucketName
Register Stien til mappen under den angivne bucket. <dit mappenavn> Nr. folderpath
Filnavn Filnavnet under den angivne bucket og mappesti. <dit filnavn> Nr. Filnavn
For præfiks
Spand S3-bucketnavnet. <dit bucketnavn> Ja bucketName
Præfiks Præfikset for S3-nøglenavnet under den angivne bucket til filtrering af S3-kildefiler. <dit præfiks> Nr. Præfiks
For sti til jokertegnfil
Spand S3-bucketnavnet. <dit bucketnavn> Ja bucketName
Sti til jokertegnmappe Mappestien med jokertegn under den angivne bucket til filtrering af kildemapper. <mappestien med jokertegn> Nr. jokertegnFolderPath
Filnavn med jokertegn Filnavnet med jokertegn under den angivne bucket og mappesti (eller sti til jokertegnmappen) til filtrering af kildefiler. <filnavnet med jokertegn> Ja jokertegnFileName
For Liste over filer
Spand S3-bucketnavnet. <dit bucketnavn> Ja bucketName
Register Stien til mappen under den angivne bucket. <dit mappenavn> Nr. folderpath
Sti til filliste Angiver, at et givent filsæt skal kopieres. Peg på en tekstfil, der indeholder en liste over filer, du vil kopiere, én fil pr. linje. < sti til filliste > Nr. fileListPath
Filformat Filformatet for kildedataene. Du kan finde flere oplysninger om forskellige filformater i artikler i Understøttet format for at få detaljerede oplysninger. / Ja /
Rekursivt Angiver, om dataene læses rekursivt fra undermapperne eller kun fra den angivne mappe. Bemærk, at når Rekursivt vælges, og destinationen er et filbaseret lager, kopieres eller oprettes der ikke en tom mappe eller undermappe på destinationen. Denne egenskab gælder ikke, når du konfigurerer Sti til filliste. valgt (standard) eller fravælg Nr. Rekursive
Filtrer efter senest ændret Filerne med tidspunkt for seneste ændring i intervallet [Starttidspunkt, Sluttidspunkt) filtreres til yderligere behandling. Klokkeslættet anvendes på UTC-tidszonen i formatet yyyy-mm-ddThh:mm:ss.fffZ. Disse egenskaber kan springes over, hvilket betyder, at der ikke anvendes et filattributfilter. Denne egenskab gælder ikke, når du konfigurerer filtypen som Liste over filer. dato/klokkeslæt Nr. modifiedDatetimeStart
modifiedDatetimeEnd
Aktivér registrering af partition Angiver, om partitionerne fra filstien skal fortolkes og tilføjes som yderligere kildekolonner. markeret eller ikke markeret (standard) Nr. enablePartitionDiscovery:
true eller false (standard)
Sti til partitionsrod Når registrering af partition er aktiveret, skal du angive den absolutte rodsti for at læse partitionerede mapper som datakolonner. < din partitionsrodsti > Nr. partitionRootPath
Maks. samtidig forbindelse Den øvre grænse for samtidige forbindelser, der er oprettet til datalageret under aktivitetskørslen. Angiv kun en værdi, når du vil begrænse samtidige forbindelser. <maks. antal samtidige forbindelser> Nr. maxConcurrent Forbind ions
Flere kolonner Tilføj yderligere datakolonner for at gemme kildefilernes relative sti eller statiske værdi. Udtrykket understøttes for sidstnævnte. • Navn
•Værdi
Nr. additionalColumns:
•Navn
•Værdi

Destinationsoplysninger

Navn Beskrivelse Værdi Obligatorisk JSON-scriptegenskab
Datalagertype Datalagertypen. Eksternt Ja /
Forbind ion Din forbindelse til destinationsdatalageret. <din Amazon S3-forbindelse> Ja Forbindelse
Forbind ionstype Vælg en type til forbindelsen. Amazon S3 Ja /
Filsti Mappe-/filstien til destinationsfilen. <mappe-/filsti> Ja /
Spand S3-bucketnavnet. <dit bucketnavn> Ja bucketName
Register Stien til mappen under den angivne bucket. <dit mappenavn> Nr. folderpath
Filnavn Filnavnet under den angivne bucket og mappesti. <dit filnavn> Nr. Filnavn
Funktionsmåde for kopiering Definerer funktionsmåden for kopiering, når kilden er filer fra et filbaseret datalager. • Fladgør hierarki
• Flet filer
• Bevar hierarki
Nr. copyBehavior:
• Fladt hierarki
• Fletfiler
• PreserveHierarchy
Maks. antal samtidige forbindelser Den øvre grænse for samtidige forbindelser, der er oprettet til datalageret under aktivitetskørslen. Angiv kun en værdi, når du vil begrænse samtidige forbindelser. <maks. antal samtidige forbindelser> Nr. maxConcurrent Forbind ions