Konfigurer SFTP i en kopiaktivitet

I denne artikel beskrives det, hvordan du bruger kopiaktiviteten i datapipeline til at kopiere data fra SFTP.

Understøttet format

SFTP understøtter følgende filformater. Se hver artikel for at få formatbaserede indstillinger.

• Avro-format
• Binært format
• Afgrænset tekstformat
• Excel-format
• JSON-format
• ORC-format
• Parquetformat
• XML-format

Understøttet konfiguration

Hvis du vil konfigurere hver fane under kopiaktivitet, skal du gå til henholdsvis følgende afsnit.

• Generelt
• Source
• Destination
• Kortlægning
• Indstillinger

Generelt

Se vejledningen til generelle indstillinger for at konfigurere fanen Generelle indstillinger.

Kilde

Gå til fanen Kilde for at konfigurere din kopiaktivitetskilde. Se følgende indhold for at få den detaljerede konfiguration.

Følgende tre egenskaber er påkrævet:

• Datalagertype: Vælg ekstern.

• Forbind ion: Vælg en SFTP-forbindelse på forbindelseslisten. Hvis der ikke findes nogen forbindelse, skal du oprette en ny SFTP-forbindelse ved at vælge Ny.

• Filtype: Vælg mellem Filsti, Sti til jokertegn og Liste over filer baseret på den måde, du vil læse filer på.

  • Filsti: Hvis du vælger denne type, skal du angive stien til kildefilen. Du kan vælge Gennemse for at vælge kildefilerne eller angive filstien manuelt.

  • Sti til jokertegn: Hvis du vælger denne type, skal du angive stierne til jokertegn for at filtrere kildemapperne eller -filerne.

    Tilladte jokertegn er * (svarer til nul eller flere tegn) og ? (svarer til nul eller enkelttegn). Bruges ^ til at escape, hvis mappenavnet har et jokertegn eller dette escape-tegn. Du kan få flere eksempler ved at gå til Eksempler på mappe- og filfilter.

    

    Sti til jokertegnmappe: Angiv mappestien med jokertegn for at filtrere kildemapper.

    Filnavn med jokertegn: Angiv filnavnet med jokertegn under den angivne mappesti/sti til jokertegnmappen for at filtrere kildefiler.

  • Liste over filer: Hvis du vælger denne type, skal du angive mappestien og listen Sti til fil for at angive, at et bestemt filsæt skal kopieres. Peg på en tekstfil, der indeholder en liste over filer, du vil kopiere, én fil pr. linje. Du kan få flere eksempler ved at gå til Eksempler på fillister.

    • Mappesti: Angiv stien til kildemappen. Det er påkrævet.
      

    • Sti til filliste: Angiv stien til den tekstfil, der indeholder en liste over filer, du vil kopiere.

      

• Filformat: Vælg det filformat, der anvendes på rullelisten. Vælg Indstillinger for at konfigurere filformatet. Du kan finde detaljerede oplysninger i artikler i Understøttet format for at få flere oplysninger om indstillinger for forskellige filformater.

Under Avanceret kan du angive følgende felter:

• Filtrer efter senest ændret: Filer filtreres på baggrund af de senest ændrede datoer, du har angivet. Denne egenskab gælder ikke, når du konfigurerer filtypen som Liste over filer.

  • Starttidspunkt (UTC):Filerne vælges, hvis deres seneste ændringstid er større end eller lig med det konfigurerede tidspunkt.
  • Sluttidspunkt (UTC):Filerne vælges, hvis deres seneste ændringstidspunkt er mindre end det konfigurerede tidspunkt.

  Når Starttidspunkt (UTC) har datetime-værdi, men Sluttidspunkt (UTC) er NULL, betyder det, at de filer, hvis senest ændrede attribut er større end eller lig med datetime-værdien, vælges. Når Sluttidspunkt (UTC) har datetime-værdi, men Starttidspunkt (UTC) er NULL, betyder det, at de filer, hvis senest ændrede attribut er mindre end datetime-værdien, vælges. Egenskaberne kan være NULL, hvilket betyder, at der ikke anvendes et filattributfilter på dataene.

• Deaktiver segmentering: Segmentering er designet til at optimere ydeevnen og sker nedenunder. Med denne indstilling kan du deaktivere segmentering i hver fil. Når du kopierer data fra SFTP, forsøger tjenesten først at hente fillængden og derefter opdele filen i flere dele og læse dem parallelt. Angiv, om SFTP-serveren understøtter hentning af fillængde eller forsøg på at læse fra en bestemt forskydning. Den er som standard ikke markeret.

• Aktivér registrering af partition: Angiv, om partitionerne skal fortolkes fra filstien, og tilføj dem som yderligere kildekolonner. Den er som standard ikke markeret og understøttes ikke, når du bruger binært filformat.

  • Partitionsrodsti: Når registrering af partition er aktiveret, skal du angive den absolutte rodsti for at læse partitionerede mapper som datakolonner.
    Hvis den ikke er angivet som standard,

    • Når du bruger filstien eller listen over filer på kilden, er partitionsrodstien den sti, du har konfigureret.
    • Når du bruger jokertegnmappefilteret, er partitionsrodstien understien før det første jokertegn.

    Hvis du f.eks. konfigurerer stien som root/folder/year=2020/month=08/day=27:

    • Hvis du angiver rodstien for partitionen som root/folder/year=2020, genererer kopiaktivitet to kolonner mere måned og dag med værdien "08" og "27" ud over kolonnerne i filerne.
    • Hvis der ikke er angivet en partitionsrodsti, oprettes der ingen ekstra kolonne.

    

• Maks. antal samtidige forbindelser: Denne egenskab angiver den øvre grænse for samtidige forbindelser, der er oprettet til datalageret under aktivitetskørslen. Angiv kun en værdi, når du vil begrænse samtidige forbindelser.

• Flere kolonner: Tilføj flere datakolonner for at gemme kildefilernes relative sti eller statiske værdi. Udtrykket understøttes for sidstnævnte. Du kan finde flere oplysninger ved at gå til Tilføj flere kolonner under kopiering.

Destination

Gå til fanen Destination for at konfigurere destinationen for kopiaktiviteten. Se følgende indhold for at få den detaljerede konfiguration.

• Datalagertype: Vælg ekstern.
• Forbind ion: Vælg en SFTP-forbindelse på forbindelseslisten. Hvis der ikke findes nogen forbindelse, skal du oprette en ny SFTP-forbindelse ved at vælge Ny.
• Filsti: Angiv den filsti, dataene skal skrives til. Du kan vælge Gennemse for at vælge kildefilerne eller angive filstien manuelt.
• Filformat: Vælg det filformat, der anvendes på rullelisten. Vælg Indstillinger for at konfigurere filformatet. Du kan finde detaljerede oplysninger i artikler i Understøttet format for at få flere oplysninger om indstillinger for forskellige filformater.

Under Avanceret kan du angive følgende felter:

• Funktionsmåde for kopiering: Angiv kopifunktionsmåden, når kilden er filer fra et filbaseret datalager. Vælg mellem følgende egenskaber.

  • Fladgør hierarki: Alle filer fra kildemappen er på det første niveau i destinationsmappen. Destinationsfilerne har automatisk genererede navne.
  • Flet filer: Fletter alle filer fra kildemappen til én fil. Hvis filnavnet er angivet, er det flettede filnavn det angivne navn. Ellers er det et automatisk genereret filnavn.
  • Bevar hierarki (standard): Bevarer filhierarkiet i destinationsmappen. Den relative sti til kildefilen til kildemappen er identisk med den relative sti for destinationsfilen til destinationsmappen.
  • Tilføj dynamisk indhold: Vælg dette for at angive funktionsmåden for kopiering ved hjælp af dynamisk indhold.

• Maksimalt antal samtidige forbindelser: Den øvre grænse for samtidige forbindelser, der er oprettet til datalageret under aktivitetskørslen. Angiv kun en værdi, når du vil begrænse samtidige forbindelser.

• Timeout for handling (minutter):Angiv timeout for skrivning af hvert afsnit til SFTP-serveren. Standardværdien er 60 minutter.

• Upload med midlertidig fil: Angiv, om du vil overføre til midlertidige filer og omdøbe dem, eller skriv direkte til destinationsmappen eller filplaceringen. Som standard vælges den, og tjenesten skriver først til midlertidige filer og omdøber dem derefter, når overførslen er fuldført.

  Denne sekvens hjælper med at (1) undgå konflikter, der kan resultere i en beskadiget fil, hvis du har andre processer, der skriver til den samme fil, og (2) sikre, at den oprindelige version af filen findes under overførslen. Hvis din SFTP-server ikke understøtter en omdøbning, skal du deaktivere denne indstilling og sørge for, at du ikke har samtidig skriveadgang til destinationsfilen.

  Tip

  Hvis du får vist fejlmeddelelsen "UserErrorSftpPathNotFound", "UserErrorSftpPermissionDenied" eller "SftpOperationFail", når du skriver data til SFTP, og den SFTP-bruger, du bruger, har de korrekte tilladelser, skal du kontrollere, om omdøbningen af filen på SFTP-serveren fungerer. Hvis det ikke er muligt, skal du deaktivere indstillingen Overfør med midlertidig fil og prøve igen.

Tilknytning

Hvis du vil have mere at vide om konfiguration af fanen Tilknytning , skal du se Konfigurer dine tilknytninger under fanen Tilknytning. Hvis du vælger Binær som filformat, understøttes tilknytning ikke.

Indstillinger

Hvis du vil have Indstillinger fanekonfiguration, skal du gå til Konfigurer dine andre indstillinger under fanen Indstillinger.

Tabeloversigt

Følgende tabel indeholder flere oplysninger om kopiaktiviteten i SFTP.

Kilde

Navn	Beskrivelse	Værdi	Obligatorisk	JSON-scriptegenskab
Datalagertype	Datalagertypen.	Eksternt	Ja	/
Forbind ion	Din SFTP-forbindelse til kildedatalageret.	< din SFTP-forbindelse >	Ja	Forbindelse
Filtype	Den filtype, der bruges til at hente kildedata.	• Filsti • Sti til jokertegnfil • Liste over filer	Ja	/
Filsti	Stien til kildefilen.	< filsti>	Ja	Filnavn folderPath
Jokertegnstier	Jokertegnstien til kildefilen.	< stien til din jokertegnfil >	Ja for filnavnet med jokertegn	jokertegnFolderPath jokertegnFileName
Mappesti	Stien til kildemappen.	< din mappesti>	Ja	folderPath
Sti til filliste	Angiver, at et givent filsæt skal kopieres. Peg på en tekstfil, der indeholder en liste over filer, du vil kopiere, én fil pr. linje.	< sti til filliste >	Nr.	fileListPath
Filformat	Filformatet for kildedataene. Du kan finde flere oplysninger om forskellige filformater i artikler i Understøttet format for at få detaljerede oplysninger.	/	Ja	/
Filtrer efter senest ændret	Filerne med tidspunkt for seneste ændring i intervallet [Starttidspunkt, Sluttidspunkt) filtreres til yderligere behandling. Klokkeslættet anvendes på UTC-tidszonen i formatet yyyy-mm-ddThh:mm:ss.fffZ. Disse egenskaber kan springes over, hvilket betyder, at der ikke anvendes et filattributfilter. Denne egenskab gælder ikke, når du konfigurerer filtypen som Liste over filer.	dato/klokkeslæt	Nr.	modifiedDatetimeStart modifiedDatetimeEnd
Deaktiver segmentering	Segmentering er designet til at optimere ydeevnen og sker nedenunder. Med denne indstilling kan du deaktivere segmentering i hver fil. Når du kopierer data fra SFTP, forsøger tjenesten først at hente fillængden og derefter opdele filen i flere dele og læse dem parallelt. Angiv, om SFTP-serveren understøtter hentning af fillængde eller forsøg på at læse fra en bestemt forskydning.	markeret eller ikke markeret (standard)	Nr.	disableChunking: true eller false (standard)
Aktivér registrering af partition	Angiver, om partitionerne fra filstien skal fortolkes og tilføjes som yderligere kildekolonner.	markeret eller ikke markeret (standard)	Nr.	enablePartitionDiscovery: true eller false (standard)
Sti til partitionsrod	Den absolutte partitionsrodsti for at læse partitionerede mapper som datakolonner. Angiv den, når partitionsregistrering er aktiveret.	< rodsti til partition >	Nr.	partitionRootPath
Maks. antal samtidige forbindelser	Den øvre grænse for samtidige forbindelser, der er oprettet til datalageret under aktivitetskørslen. Angiv kun en værdi, når du vil begrænse samtidige forbindelser.	< øvre grænse for samtidige forbindelser > (heltal)	Nr.	maxConcurrent Forbind ions
Flere kolonner	Tilføj yderligere datakolonner for at gemme kildefilernes relative sti eller statiske værdi. Udtrykket understøttes for sidstnævnte. Du kan finde flere oplysninger ved at gå til Tilføj flere kolonner under kopiering	• Navn •Værdi	Nr.	additionalColumns: •Navn •Værdi

Destination

Navn	Beskrivelse	Værdi	Obligatorisk	JSON-scriptegenskab
Datalagertype	Datalagertypen.	Eksternt	Ja	/
Forbind ion	Din forbindelse til SFTP-kilden.	< din forbindelse >	Ja	Forbindelse
Filsti	Filstien til dine destinationsdata.	Filstien til destinationen	Ja	folderPath Filnavn
Filformat	Filformatet for kildedataene. Du kan finde flere oplysninger om forskellige filformater i artikler i Understøttet format for at få detaljerede oplysninger.	/	Ja	/
Funktionsmåde for kopiering	Definerer funktionsmåden for kopiering, når kilden er filer fra et filbaseret datalager.	• Fladgør hierarki • Flet filer • Bevar hierarki	Nr.	copyBehavior: - FlattenHierarchy - MergeFiles - PreserveHierarchy
Maks. antal samtidige forbindelser	Den øvre grænse for samtidige forbindelser, der er oprettet til datalageret under aktivitetskørslen. Angiv kun en værdi, når du vil begrænse samtidige forbindelser.	< maks. antal samtidige forbindelser >	Nr.	maxConcurrent Forbind ions
Timeout for handling (minutter)	Timeout for skrivning af hvert afsnit til SFTP-server.	< timeout for handlingen > Standardværdien er 60	Nr.	operationTimeout
Upload med temp-fil	Angiver, om midlertidige filer skal uploades og omdøbes. Deaktiver denne indstilling, hvis SFTP-serveren ikke understøtter omdøbning.	markeret (standard) eller ikke markeret	Nr.	useTempFileRename: true (standard) eller false

Relateret indhold

• Oversigt over SFTP-connector