Konfigurer FTP i en kopiaktivitet

I denne artikel beskrives det, hvordan du bruger kopiaktiviteten i datapipeline til at kopiere data fra FTP.

Understøttet format

FTP understøtter følgende filformater. Se hver artikel for at få formatbaserede indstillinger.

• Avro-format
• Binært format
• Afgrænset tekstformat
• Excel-format
• JSON-format
• ORC-format
• Parquetformat
• XML-format

Understøttet konfiguration

Hvis du vil konfigurere hver fane under kopiaktivitet, skal du gå til henholdsvis følgende afsnit.

• Generelt
• Source
• Kortlægning
• Indstillinger

Generelt

Se vejledningen til generelle indstillinger for at konfigurere fanen Generelle indstillinger.

Kilde

Gå til fanen Kilde for at konfigurere din kopiaktivitetskilde. Se følgende indhold for at få den detaljerede konfiguration.

Følgende tre egenskaber er påkrævet:

• Datalagertype: Vælg ekstern.

• Forbind ion: Vælg en FTP-forbindelse på forbindelseslisten. Hvis der ikke findes nogen forbindelse, skal du oprette en ny FTP-forbindelse ved at vælge Ny.

• Filtype: Vælg mellem Filsti, Sti til jokertegn og Liste over filer baseret på den måde, du vil læse filer på.

  • Filsti: Hvis du vælger denne type, skal du angive stien til kildefilen. Du kan vælge Gennemse for at vælge kildefilerne eller angive filstien manuelt.

  • Sti til jokertegn: Hvis du vælger denne type, skal du angive stierne til jokertegn for at filtrere kildemapperne eller -filerne.

    Tilladte jokertegn er * (svarer til nul eller flere tegn) og ? (svarer til nul eller enkelttegn). Bruges ^ til at escape, hvis mappenavnet har et jokertegn eller dette escape-tegn. Du kan få flere eksempler ved at gå til Eksempler på mappe- og filfilter.

    

    Sti til jokertegnmappe: Angiv mappestien med jokertegn for at filtrere kildemapper.

    Filnavn med jokertegn: Angiv filnavnet med jokertegn under den angivne mappeSti til mappenPath/jokertegn for at filtrere kildefiler.

  • Liste over filer: Hvis du vælger denne type, skal du angive mappestien og listen Sti til fil for at angive, at et bestemt filsæt skal kopieres. Peg på en tekstfil, der indeholder en liste over filer, du vil kopiere, én fil pr. linje. Du kan få flere eksempler ved at gå til Eksempler på fillister.

    Mappesti: Angiv stien til kildemappen. Det er påkrævet.
    Sti til filliste: Angiv stien til den tekstfil, der indeholder en liste over filer, du vil kopiere.

    

• Filformat: Vælg det filformat, der anvendes på rullelisten. Vælg Indstillinger for at konfigurere filformatet. Du kan finde detaljerede oplysninger i artikler i Understøttet format for at få flere oplysninger om indstillinger for forskellige filformater.

Under Avanceret kan du angive følgende felter:

• Filtrer efter senest ændret: Filer filtreres på baggrund af de senest ændrede datoer. Denne egenskab gælder ikke, når du konfigurerer filtypen som Liste over filer.

  • Starttidspunkt (UTC):Filerne vælges, hvis deres seneste ændringstid er større end eller lig med det konfigurerede tidspunkt.
  • Sluttidspunkt (UTC):Filerne vælges, hvis deres seneste ændringstidspunkt er mindre end det konfigurerede tidspunkt.

  Når Starttidspunkt (UTC) har datetime-værdi, men Sluttidspunkt (UTC) er NULL, betyder det, at de filer, hvis senest ændrede attribut er større end eller lig med datetime-værdien, vælges. Når Sluttidspunkt (UTC) har datetime-værdi, men Starttidspunkt (UTC) er NULL, betyder det, at de filer, hvis senest ændrede attribut er mindre end datetime-værdien, vælges. Egenskaberne kan være NULL, hvilket betyder, at der ikke anvendes et filattributfilter på dataene.

• Deaktiver segmentering: Segmentering er designet til at optimere ydeevnen og sker nedenunder. Med denne indstilling kan du deaktivere segmentering i hver fil. Når du kopierer data fra FTP, forsøger tjenesten først at hente fillængden og derefter opdele filen i flere dele og læse dem parallelt. Angiv, om FTP-serveren understøtter hentning af fillængde eller søgning efter at læse fra en bestemt forskydning. Den er som standard ikke markeret.

• Aktivér registrering af partition: Angiv, om partitionerne skal fortolkes fra filstien, og tilføj dem som yderligere kildekolonner. Den er som standard ikke markeret og understøttes ikke, når du bruger binært filformat.

  • Partitionsrodsti: Når registrering af partition er aktiveret, skal du angive den absolutte rodsti for at læse partitionerede mapper som datakolonner.
    Hvis den ikke er angivet som standard,

    • Når du bruger filstien eller listen over filer på kilden, er partitionsrodstien den sti, du har konfigureret.
    • Når du bruger jokertegnmappefilteret, er partitionsrodstien understien før det første jokertegn.

    Hvis du f.eks. konfigurerer stien som root/folder/year=2020/month=08/day=27:

    • Hvis du angiver rodstien for partitionen som root/folder/year=2020, genererer kopiaktivitet to kolonner mere måned og dag med værdien "08" og "27" ud over kolonnerne i filerne.
    • Hvis der ikke er angivet en partitionsrodsti, oprettes der ingen ekstra kolonne.

    

• Brug binær overførsel: Angiv, om den binære overførselstilstand skal bruges. Vælg den for at bruge binær tilstand (standard), eller fjern markeringen for at bruge ASCII.

• Maks. antal samtidige forbindelser: Denne egenskab angiver den øvre grænse for samtidige forbindelser, der er oprettet til datalageret under aktivitetskørslen. Angiv kun en værdi, når du vil begrænse samtidige forbindelser.

• Flere kolonner: Tilføj flere datakolonner for at gemme kildefilernes relative sti eller statiske værdi. Udtrykket understøttes for sidstnævnte. Du kan finde flere oplysninger ved at gå til Tilføj flere kolonner under kopiering.

Tilknytning

Hvis du vil have mere at vide om konfiguration af fanen Tilknytning , skal du se Konfigurer dine tilknytninger under fanen Tilknytning. Hvis du vælger Binær som filformat, understøttes tilknytning ikke.

Indstillinger

Hvis du vil have Indstillinger fanekonfiguration, skal du gå til Konfigurer dine andre indstillinger under fanen Indstillinger.

Tabeloversigt

Følgende tabel indeholder flere oplysninger om kopiaktiviteten i FTP.

Kilde

Navn	Beskrivelse	Værdi	Obligatorisk	JSON-scriptegenskab
Datalagertype	Datalagertypen.	Eksternt	Ja	/
Forbind ion	Din FTP-forbindelse til kildedatalageret.	< din FTP-forbindelse >	Ja	Forbindelse
Filtype	Den filtype, der bruges til at hente kildedata.	• Filsti • Sti til jokertegnfil • Liste over filer	Ja	/
Filsti	Stien til kildefilen.	< filsti>	Ja	Filnavn folderpath
Jokertegnstier	Jokertegnstien til kildefilen.	< stien til din jokertegnfil >	Ja for filnavnet med jokertegn	jokertegnFolderPath jokertegnFileName
Mappesti	Stien til kildemappen.	< sti til fælles hjemmemappe>	Ja	folderPath
Sti til filliste	Angiver, at et givent filsæt skal kopieres. Peg på en tekstfil, der indeholder en liste over filer, du vil kopiere, én fil pr. linje.	< sti til filliste >	Nr.	fileListPath
Filformat	Filformatet for kildedataene. Du kan finde flere oplysninger om forskellige filformater i artikler i Understøttet format for at få detaljerede oplysninger.	/	Ja	/
Filtrer efter senest ændret	Filerne med tidspunkt for seneste ændring i intervallet [Starttidspunkt, Sluttidspunkt) filtreres til yderligere behandling. Klokkeslættet anvendes på UTC-tidszonen i formatet yyyy-mm-ddThh:mm:ss.fffZ. Disse egenskaber kan springes over, hvilket betyder, at der ikke anvendes et filattributfilter. Denne egenskab gælder ikke, når du konfigurerer filtypen som Liste over filer.	dato/klokkeslæt	Nr.	modifiedDatetimeStart modifiedDatetimeEnd
Deaktiver segmentering	Segmentering er designet til at optimere ydeevnen og sker nedenunder. Med denne indstilling kan du deaktivere segmentering i hver fil. Når du kopierer data fra FTP, forsøger tjenesten først at hente fillængden og derefter opdele filen i flere dele og læse dem parallelt. Angiv, om FTP-serveren understøtter hentning af fillængde eller søgning efter at læse fra en bestemt forskydning.	markeret eller ikke markeret (standard)	Nr.	disableChunking: true eller false (standard)
Aktivér registrering af partition	Angiver, om partitionerne fra filstien skal fortolkes og tilføjes som yderligere kildekolonner.	markeret eller ikke markeret (standard)	Nr.	enablePartitionDiscovery: true eller false (standard)
Sti til partitionsrod	Den absolutte partitionsrodsti for at læse partitionerede mapper som datakolonner. Angiv den, når partitionsregistrering er aktiveret.	< rodsti til partition >	Nr.	partitionRootPath
Brug binær overførsel	Angiver, om den binære overførselstilstand skal bruges. Værdierne er true for binær tilstand (standard) og false for ASCII.	markeret (standard) eller ikke markeret	Nr.	useBinaryTransfer: true (standard) eller false
Maks. antal samtidige forbindelser	Den øvre grænse for samtidige forbindelser, der er oprettet til datalageret under aktivitetskørslen. Angiv kun en værdi, når du vil begrænse samtidige forbindelser.	< øvre grænse for samtidige forbindelser > (heltal)	Nr.	maxConcurrent Forbind ions
Flere kolonner	Tilføj yderligere datakolonner for at gemme kildefilernes relative sti eller statiske værdi. Udtrykket understøttes for sidstnævnte. Du kan finde flere oplysninger ved at gå til Tilføj flere kolonner under kopiering	• Navn •Værdi	Nr.	additionalColumns: •Navn •Værdi

Relateret indhold

• Oversigt over FTP-connector