Konfigurer Amazon S3 i en kopiaktivitet
Denne artikkelen beskriver hvordan du bruker kopieringsaktiviteten i et datasamlebånd til å kopiere data fra og til Amazon S3.
Tillatelser som kreves
Hvis du vil kopiere data fra Amazon S3, må du kontrollere at du har fått følgende tillatelser for Amazon S3-objektoperasjoner: s3:GetObject og s3:GetObjectVersion.
I tillegg s3:ListAllMyBuckets kreves tillatelser s3:ListBucket/s3:GetBucketLocation for operasjoner som testing av tilkobling og nettlesing fra roten.
Hvis du vil ha den fullstendige listen over Amazon S3-tillatelser, kan du gå til Angi tillatelser i en policy på AWS-nettstedet.
Støttet format
Amazon S3 støtter følgende filformater. Se hver artikkel for formatbaserte innstillinger.
- Avro-format
- Binærformat
- Tekstformat med skilletegn
- Excel-format
- JSON-format
- ORC-format
- Parquet-format
- XML-format
Støttet konfigurasjon
Hvis du vil ha konfigurasjonen av hver fane under kopieringsaktivitet, kan du gå til følgende inndelinger.
Generelt
Se veiledningen for generelle innstillinger for å konfigurere fanen Generelle innstillinger.
Source
Følgende egenskaper støttes for Amazon S3 under Kilde-fanen for en kopiaktivitet.
Følgende egenskaper er nødvendige:
Datalagertype: Velg ekstern.
Koble til ion: Velg en Amazon S3-tilkobling fra tilkoblingslisten. Hvis det ikke finnes noen tilkobling, oppretter du en ny Amazon-tilkobling ved å velge Ny.
Koble til iontype: Velg Amazon S3 for tilkoblingstypen din.
Filtype: Du kan velge Filbane, Prefiks, Jokertegnfilbane eller Liste over filer som filtype. Konfigurasjonen for hver innstilling er:
Filbane: Hvis du velger denne typen, kan dataene kopieres fra den angitte samlingen eller den angitte samlings- og mappebanen.
Prefiks: Hvis du velger denne typen, angir du samling og prefiks.
Samling: Angi navnet på S3-samlingen. Det kreves.
Prefiks: Angi prefikset for S3-nøkkelnavnet under den angitte samlingen for å filtrere S3-kildefiler. S3-taster med navn som begynner med
bucket/this_prefix, er valgt. Den benytter S3s servicesidefilter, som gir bedre ytelse enn et jokertegnfilter.Når du bruker prefikset og velger å kopiere til filbasert mål med å bevare hierarkiet, noterer du underbanen etter at det siste /- i prefikset beholdes. Du har for eksempel kilde
bucket/folder/subfolder/file.txt, og konfigurerer prefikset somfolder/sub, så ersubfolder/file.txtden bevarte filbanen .
Jokertegnfilbane: Hvis du velger denne typen, angir du samlings - og jokertegnbanene.
Samling: Angi navnet på S3-samlingen. Det kreves.
Jokertegnbaner: Angi mappen eller filbanen med jokertegn under den angitte samlingen for å filtrere kildemappene eller filene.
Tillatte jokertegn er:
*(samsvarer med null eller flere tegn) og?(samsvarer med null eller enkelttegn). Brukes^til å unnslippe hvis mappenavnet har jokertegn eller dette escape-tegnet inni. Se flere eksempler i eksempler på mappe- og filfilter.
Jokertegnmappebane: Mappebanen med jokertegn under den angitte samlingen for å filtrere kildemapper.Jokertegnfilnavn: Filnavnet med jokertegn under angitt samlings- og mappebane (eller jokertegnmappebane) for å filtrere kildefiler.
Liste over filer: Hvis du velger denne typen, angir du mappebanen og Bane til fil-listen for å angi å kopiere et gitt filsett. Pek på en tekstfil som inneholder en liste over filer du vil kopiere, én fil per linje, som er den relative banen til banen som er konfigurert. Hvis du vil ha flere eksempler, kan du gå til Eksempler på filliste.
- Mappebane: Angi banen til mappen under angitt samling. Det kreves.
- Bane til filliste: Angi banen til tekstfilen som inneholder en liste over filer du vil kopiere.
Rekursivt: Angi om dataene skal leses rekursivt fra undermappene eller bare fra den angitte mappen. Når Rekursivt er valgt og målet er et filbasert lager, kopieres eller opprettes ikke en tom mappe eller undermappe på målet. Denne egenskapen er valgt som standard og gjelder ikke når du konfigurerer Bane til fil-listen.
Filformat: Velg filformatet som brukes fra rullegardinlisten. Velg Innstillinger for å konfigurere filformatet. Hvis du vil ha innstillinger for ulike filformater, kan du se artikler i støttet format for detaljert informasjon.
Under Avansert kan du angi følgende felt:
Filtrer etter sist endret: Filer filtreres basert på de siste endrede datoene du har angitt. Denne egenskapen gjelder ikke når du konfigurerer filtypen som liste over filer.
- Starttidspunkt (UTC): Filene velges hvis den siste endrede tiden er større enn eller lik det konfigurerte tidspunktet.
- Sluttidspunkt (UTC): Filene velges hvis siste endringstidspunkt er mindre enn det konfigurerte tidspunktet.
Når Starttidspunkt (UTC) har datetime-verdi, men sluttidspunkt (UTC) er NULL, betyr det at filene som sist endret attributtet er større enn eller lik datetime-verdien, velges. Når sluttidspunkt (UTC) har datetime-verdi, men Starttidspunkt (UTC) er NULL, betyr det at filene som sist endret attributtet er mindre enn datetime-verdien, blir valgt. Egenskapene kan være NULL, noe som betyr at ingen filattributtfilter vil bli brukt på dataene.
Aktiver partisjonsgjenkjenning: Angi om du vil analysere partisjonene fra filbanen og legge dem til som flere kildekolonner. Det er ikke merket av som standard og støttes ikke når du bruker binært filformat.
Partisjonsrotbane: Når partisjonsgjenkjenning er aktivert, angir du den absolutte rotbanen for å lese partisjonerte mapper som datakolonner.
Hvis det ikke er angitt, som standard,
- Når du bruker filbanen eller listen over filer på kilden, er partisjonsrotbanen banen du konfigurerte.
- Når du bruker jokertegnmappefilter, er partisjonsrotbanen underbanen før det første jokertegnet.
- Når du bruker prefikset, er partisjonsrotbanen underbane før siste /.
Hvis du for eksempel konfigurerer banen som
root/folder/year=2020/month=08/day=27:- Hvis du angir partisjonsrotbane som
root/folder/year=2020, vil kopieringsaktivitet generere to kolonner måned og dag med henholdsvis verdien 08 og 27, i tillegg til kolonnene i filene. - Hvis partisjonsrotbanen ikke er angitt, genereres ingen ekstra kolonne.
Maksimal samtidig tilkobling: Den øvre grensen for samtidige tilkoblinger som ble opprettet i datalageret under aktivitetskjøringen. Angi en verdi bare når du vil begrense samtidige tilkoblinger.
Flere kolonner: Legg til flere datakolonner for å lagre kildefilens relative bane eller statiske verdi. Uttrykket støttes for sistnevnte.
Mål
Følgende egenskaper støttes for Amazon S3 under Mål-fanen for en kopiaktivitet.
Følgende egenskaper er nødvendige:
- Datalagertype: Velg ekstern.
- Koble til ion: Velg en Amazon S3-tilkobling fra tilkoblingslisten. Hvis det ikke finnes noen tilkobling, oppretter du en ny Amazon-tilkobling ved å velge Ny.
- Koble til iontype: Velg Amazon S3 for tilkoblingstypen din.
- Filbane: Dataene kan kopieres til den angitte samlingen eller den angitte samlings- og mappebanen.
- Filformat: Velg filformatet som brukes fra rullegardinlisten. Velg Innstillinger for å konfigurere filformatet. Hvis du vil ha innstillinger for ulike filformater, kan du se artikler i støttet format for detaljert informasjon.
Under Avansert kan du angi følgende felt:
Kopier virkemåte: Definerer kopieringsvirkemåten når kilden er filer fra et filbasert datalager. Du kan velge en virkemåte fra rullegardinlisten.
- Flate ut hierarki: Alle filer fra kildemappen er på det første nivået i målmappen. Målfilene har automatisk genererte navn.
- Flette filer: Slår sammen alle filer fra kildemappen til én fil. Hvis filnavnet er angitt, er det flettede filnavnet det angitte navnet. Ellers er det et automatisk generert filnavn.
- Behold hierarki: Bevarer filhierarkiet i målmappen. Den relative banen til kildefilen til kildemappen er identisk med den relative banen til målfilen til målmappen.
Maksimalt antall samtidige tilkoblinger: Denne egenskapen angir den øvre grensen for samtidige tilkoblinger som ble opprettet i datalageret under aktivitetskjøringen. Angi en verdi bare når du vil begrense samtidige tilkoblinger.
Tilordning
For tilordningsfanekonfigurasjon går du til Konfigurer tilordningene under tilordningsfanen. Hvis du velger Binær som filformat, støttes ikke tilordning.
Innstillinger
Gå til Konfigurer de andre innstillingene under innstillinger-fanen for konfigurasjon av Innstillinger-fanen.
Tabellsammendrag
Tabellene nedenfor inneholder mer informasjon om kopiaktiviteten i Amazon S3.
Kildeinformasjon
| Name | Beskrivelse | Verdi | Kreves | JSON-skriptegenskap |
|---|---|---|---|---|
| Datalagertype | Datalagertypen. | Ekstern | Ja | / |
| Koble til ion | Tilkoblingen til kildedatalageret. | <Amazon S3-tilkoblingen> | Ja | Tilkobling |
| Koble til iontype | Velg en type for tilkoblingen. | Amazon S3 | Ja | / |
| Filtype | Filtypen som brukes til å hente kildedata. | • Filbane • Prefiks • Jokertegnfilbane • Liste over filer |
Ja | / |
| Filbane | ||||
| Bøtte | Navnet på S3-samlingen. | <samlingsnavnet ditt> | Ja | bucketName |
| Katalogen | Banen til mappen under den angitte samlingen. | <mappenavnet> | No | mappebane |
| Filnavn | Filnavnet under den angitte samlings- og mappebanen. | <filnavnet ditt> | No | Filnavn |
| For prefiks | ||||
| Bøtte | Navnet på S3-samlingen. | <samlingsnavnet ditt> | Ja | bucketName |
| Prefiks | Prefikset for S3-nøkkelnavnet under den angitte samlingen for å filtrere S3-kildefiler. | <prefikset> | No | Prefiks |
| For jokertegnfilbane | ||||
| Bøtte | Navnet på S3-samlingen. | <samlingsnavnet ditt> | Ja | bucketName |
| Jokertegnmappebane | Mappebanen med jokertegn under den angitte samlingen for å filtrere kildemapper. | <mappebanen med jokertegn> | No | wildcardFolderPath |
| Jokertegnfilnavn | Filnavnet med jokertegn under angitt samlings- og mappebane (eller jokertegnmappebane) for å filtrere kildefiler. | <filnavnet med jokertegn> | Ja | wildcardFileName |
| For liste over filer | ||||
| Bøtte | Navnet på S3-samlingen. | <samlingsnavnet ditt> | Ja | bucketName |
| Katalogen | Banen til mappen under den angitte samlingen. | <mappenavnet> | No | mappebane |
| Bane til filliste | Angir å kopiere et gitt filsett. Pek på en tekstfil som inneholder en liste over filer du vil kopiere, én fil per linje. | < fillistebane > | No | fileListPath |
| Filformat | Filformatet for kildedataene. Hvis du vil ha informasjon om ulike filformater, kan du se artikler i støttet format for detaljert informasjon. | / | Ja | / |
| Rekursivt | Angir om dataene leses rekursivt fra undermappene eller bare fra den angitte mappen. Vær oppmerksom på at når Rekursivt er valgt og målet er et filbasert lager, kopieres ikke en tom mappe eller undermappe på målet. Denne egenskapen gjelder ikke når du konfigurerer Bane til fil-listen. | valgt (standard) eller fjern merking | No | Rekursiv |
| Filtrer etter sist endret | Filene med siste endringstidspunkt i området [Starttidspunkt, Sluttidspunkt) filtreres for videre behandling. Tiden brukes på UTC-tidssone i formatet yyyy-mm-ddThh:mm:ss.fffZ. Disse egenskapene kan hoppes over, noe som betyr at ingen filattributtfilter vil bli brukt. Denne egenskapen gjelder ikke når du konfigurerer filtypen som liste over filer. |
datetime | No | modifiedDatetimeStart modifiedDatetimeEnd |
| Aktiver partisjonsoppdagelse | Angir om du vil analysere partisjonene fra filbanen og legge dem til som flere kildekolonner. | merket eller umerket (standard) | No | enablePartitionDiscovery: sann eller usann (standard) |
| Partisjonsrotbane | Når partisjonsgjenkjenning er aktivert, angir du den absolutte rotbanen for å lese partisjonerte mapper som datakolonner. | < partisjonsrotbanen > | No | partitionRootPath |
| Maksimal samtidig tilkobling | Den øvre grensen for samtidige tilkoblinger som ble opprettet i datalageret under aktivitetskjøringen. Angi en verdi bare når du vil begrense samtidige tilkoblinger. | <maks samtidige tilkoblinger> | No | maxConcurrent Koble til ions |
| Flere kolonner | Legg til flere datakolonner for å lagre kildefilens relative bane eller statiske verdi. Uttrykket støttes for sistnevnte. | • Navn •Verdi |
No | additionalColumns: •navn •Verdi |
Målinformasjon
| Name | Beskrivelse | Verdi | Kreves | JSON-skriptegenskap |
|---|---|---|---|---|
| Datalagertype | Datalagertypen. | Ekstern | Ja | / |
| Koble til ion | Tilkoblingen til måldatalageret. | <Amazon S3-tilkoblingen> | Ja | Tilkobling |
| Koble til iontype | Velg en type for tilkoblingen. | Amazon S3 | Ja | / |
| Filbane | Mappe-/filbanen til målfilen. | <mappe-/filbane> | Ja | / |
| Bøtte | Navnet på S3-samlingen. | <samlingsnavnet ditt> | Ja | bucketName |
| Katalogen | Banen til mappen under den angitte samlingen. | <mappenavnet> | No | mappebane |
| Filnavn | Filnavnet under den angitte samlings- og mappebanen. | <filnavnet ditt> | No | Filnavn |
| Kopier virkemåte | Definerer kopieringsvirkemåten når kilden er filer fra et filbasert datalager. | • Flate ut hierarki • Slå sammen filer • Bevare hierarki |
No | copyBehavior: • FlattenHierarchy • MergeFiles • PreserveHierarchy |
| Maksimalt antall samtidige tilkoblinger | Den øvre grensen for samtidige tilkoblinger som ble opprettet i datalageret under aktivitetskjøringen. Angi en verdi bare når du vil begrense samtidige tilkoblinger. | <maks samtidige tilkoblinger> | No | maxConcurrent Koble til ions |
Relatert innhold
Tilbakemeldinger
Kommer snart: Gjennom 2024 skal vi fase ut GitHub-problemer som tilbakemeldingsmekanisme for innhold og erstatte det med et nytt tilbakemeldingssystem. Hvis du vil ha mer informasjon, kan du se https://aka.ms/ContentUserFeedback.
Send inn og vis tilbakemelding for