Konfigurera SFTP i en kopieringsaktivitet

Den här artikeln beskriver hur du använder kopieringsaktiviteten i datapipelinen för att kopiera data från SFTP.

Format som stöds

SFTP stöder följande filformat. Se varje artikel för formatbaserade inställningar.

• Avro-format
• Binärt format
• Avgränsat textformat
• Excel-format
• JSON-format
• ORC-format
• Parquet-format
• XML-format

Konfiguration som stöds

För konfigurationen av varje flik under kopieringsaktivitet går du till följande avsnitt.

• Allmänt
• Source
• Mål
• Mappning
• Inställningar

Allmänt

Se vägledningen allmänna inställningar för att konfigurera fliken Allmänna inställningar.

Källa

Gå till fliken Källa för att konfigurera kopieringsaktivitetskällan. Se följande innehåll för den detaljerade konfigurationen.

Följande tre egenskaper krävs:

• Datalagertyp: Välj Extern.

• Anslut ion: Välj en SFTP-anslutning i anslutningslistan. Om det inte finns någon anslutning skapar du en ny SFTP-anslutning genom att välja Ny.

• Filsökvägstyp: Välj från Filsökväg, Sökväg till jokertecken och Lista över filer baserat på hur du vill läsa filer.

  • Filsökväg: Om du väljer den här typen anger du källfilens sökväg. Du kan välja Bläddra för att välja källfiler eller ange filsökvägen manuellt.

  • Sökväg till vild fil: Om du väljer den här typen anger du sökvägarna för jokertecken för att filtrera dina källmappar eller -filer.

    Tillåtna jokertecken är * (matchar noll eller fler tecken) och ? (matchar noll eller enskilt tecken). Använd ^ för att fly om mappnamnet har ett jokertecken eller det här escape-tecknet inuti. Fler exempel finns i Exempel på mapp- och filfilter.

    

    Sökväg till jokerteckenmapp: Ange mappsökvägen med jokertecken för att filtrera källmappar.

    Namn på jokerteckenfil: Ange filnamnet med jokertecken under den angivna mappsökvägen/sökvägen till jokerteckenmappen för att filtrera källfiler.

  • Lista över filer: Om du väljer den här typen anger du mappsökväg och sökväg till fillista som anger att en angiven filuppsättning ska kopieras. Peka på en textfil som innehåller en lista över filer som du vill kopiera, en fil per rad. Om du vill ha fler exempel går du till Exempel på fillista.

    • Mappsökväg: Ange sökvägen till källmappen. Det krävs.
      

    • Sökväg till fillista: Ange sökvägen till textfilen som innehåller en lista över filer som du vill kopiera.

      

• Filformat: Välj det filformat som används i listrutan. Välj Inställningar för att konfigurera filformatet. För inställningar för olika filformat, se artiklar i format som stöds för detaljerad information.

Under Avancerat kan du ange följande fält:

• Filtrera efter senast ändrad: Filer filtreras baserat på de senast ändrade datumen som du angav. Den här egenskapen gäller inte när du konfigurerar filsökvägstypen som Lista över filer.

  • Starttid (UTC): Filerna väljs om deras senaste ändringstid är större än eller lika med den konfigurerade tiden.
  • Sluttid (UTC): Filerna väljs om deras senaste ändringstid är mindre än den konfigurerade tiden.

  När Starttid (UTC) har datetime-värde men Sluttid (UTC) är NULL innebär det att de filer vars senast ändrade attribut är större än eller lika med datetime-värdet väljs. När Sluttid (UTC) har datetime-värde men Starttid (UTC) är NULL innebär det att de filer vars senast ändrade attribut är mindre än datetime-värdet väljs. Egenskaperna kan vara NULL, vilket innebär att inget filattributfilter tillämpas på data.

• Inaktivera segmentering: Segmenteringen är utformad för att optimera prestanda och sker under. Med det här alternativet kan du inaktivera segmentering i varje fil. När du kopierar data från SFTP försöker tjänsten hämta fillängden först och sedan dela upp filen i flera delar och läsa dem parallellt. Ange om SFTP-servern har stöd för att hämta fillängd eller försöka läsa från en viss förskjutning. Den är avmarkerad som standard.

• Aktivera partitionsidentifiering: Ange om partitionerna ska parsas från filsökvägen och lägga till dem som ytterligare källkolumner. Den är avmarkerad som standard och stöds inte när du använder binärt filformat.

  • Partitionsrotsökväg: När partitionsidentifiering är aktiverat anger du den absoluta rotsökvägen för att läsa partitionerade mappar som datakolumner.
    Om det inte anges, som standard,

    • När du använder filsökvägen eller listan över filer på källan är partitionsrotsökvägen den sökväg som du har konfigurerat.
    • När du använder mappfilter för jokertecken är partitionsrotsökvägen undersökvägen före det första jokertecknet.

    Anta till exempel att du konfigurerar sökvägen som root/folder/year=2020/month=08/day=27:

    • Om du anger partitionsrotsökväg som root/folder/year=2020genererar kopieringsaktiviteten ytterligare två kolumner månad och dag med värdet "08" respektive "27", förutom kolumnerna i filerna.
    • Om partitionsrotsökvägen inte har angetts genereras ingen extra kolumn.

    

• Maximalt antal samtidiga anslutningar: Den här egenskapen anger den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.

• Ytterligare kolumner: Lägg till ytterligare datakolumner för att lagra källfilernas relativa sökväg eller statiska värde. Uttrycket stöds för det senare. Mer information finns i Lägg till ytterligare kolumner under kopiering.

Mål

Gå till fliken Mål för att konfigurera kopieringsaktivitetens mål. Se följande innehåll för den detaljerade konfigurationen.

• Datalagertyp: Välj Extern.
• Anslut ion: Välj en SFTP-anslutning i anslutningslistan. Om det inte finns någon anslutning skapar du en ny SFTP-anslutning genom att välja Ny.
• Filsökväg: Ange den filsökväg som du vill skriva dina data till. Du kan välja Bläddra för att välja källfiler eller ange filsökvägen manuellt.
• Filformat: Välj det filformat som används i listrutan. Välj Inställningar för att konfigurera filformatet. För inställningar för olika filformat, se artiklar i format som stöds för detaljerad information.

Under Avancerat kan du ange följande fält:

• Kopieringsbeteende: Ange kopieringsbeteendet när källan är filer från ett filbaserat datalager. Välj mellan följande egenskaper.

  • Platta ut hierarki: Alla filer från källmappen finns på den första nivån i målmappen. Målfilerna har automatiskt genererade namn.
  • Sammanfoga filer: Sammanfogar alla filer från källmappen till en fil. Om filnamnet anges är det kopplade filnamnet det angivna namnet. Annars är det ett automatiskt genererat filnamn.
  • Bevara hierarkin (standard): Bevarar filhierarkin i målmappen. Källfilens relativa sökväg till källmappen är identisk med målfilens relativa sökväg till målmappen.
  • Lägg till dynamiskt innehåll: Välj det här alternativet om du vill ange kopieringsbeteendet med dynamiskt innehåll.

• Maximalt antal samtidiga anslutningar: Den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.

• Tidsgräns för åtgärden (minuter): Ange tidsgränsen för att skriva varje segment till SFTP-servern. Standardvärdet är 60 minuter.

• Ladda upp med temporär fil: Ange om du vill ladda upp till temporära filer och byta namn på dem eller skriva direkt till målmappen eller filplatsen. Som standard är den markerad och tjänsten skriver först till temporära filer och byter sedan namn på dem när uppladdningen är klar.

  Den här sekvensen hjälper till att (1) undvika konflikter som kan resultera i en skadad fil om du har andra processer som skriver till samma fil, och (2) se till att den ursprungliga versionen av filen finns under överföringen. Om SFTP-servern inte stöder en namnbytesåtgärd inaktiverar du det här alternativet och kontrollerar att du inte har någon samtidig skrivning till målfilen.

  Dricks

  Om du får felet "UserErrorSftpPathNotFound", "UserErrorSftpPermissionDenied" eller "SftpOperationFail" när du skriver data till SFTP och den SFTP-användare som du använder har rätt behörigheter kontrollerar du om SFTP-servern stöder filbyte. Om det inte är det inaktiverar du alternativet Ladda upp med temporär fil och försöker igen.

Mappning

Information om konfiguration av fliken Mappning finns i Konfigurera dina mappningar under mappningsfliken. Om du väljer Binärt som filformat stöds inte mappning.

Inställningar

För Inställningar flikkonfiguration går du till Konfigurera dina andra inställningar under fliken Inställningar.

Tabellsammanfattning

Följande tabell innehåller mer information om kopieringsaktiviteten i SFTP.

Källa

Name	Beskrivning	Värde	Obligatoriskt	JSON-skriptegenskap
Typ av datalager	Din datalagertyp.	Externt	Ja	/
Anslutning	Din SFTP-anslutning till källdatalagret.	< din SFTP-anslutning >	Ja	anslutning
Filsökvägstyp	Filsökvägstypen som används för att hämta källdata.	• Filsökväg • Sökväg till jokerteckenfil • Lista över filer	Ja	/
Filsökväg	Sökvägen till källfilen.	< filsökväg>	Ja	fileName folderPath
Sökvägar med jokertecken	Sökvägen till källfilen med jokertecken.	< sökvägen till jokerteckenfilen >	Ja för jokerteckenfilnamn	jokerteckenFolderPath jokerteckenFilnamn
Mappsökväg	Sökvägen till källmappen.	< mappsökväg>	Ja	folderPath
Sökväg till fillista	Anger att en angiven filuppsättning ska kopieras. Peka på en textfil som innehåller en lista över filer som du vill kopiera, en fil per rad.	< sökväg till fillista >	Nej	fileListPath
Filformat	Filformatet för dina källdata. Information om olika filformat finns i artiklar i format som stöds för detaljerad information.	/	Ja	/
Filtrera efter senast ändrad	Filerna med senast ändrad tid i intervallet [Starttid, Sluttid) filtreras för vidare bearbetning. Tiden tillämpas på UTC-tidszonen i formatet yyyy-mm-ddThh:mm:ss.fffZ. Dessa egenskaper kan hoppas över, vilket innebär att inget filattributfilter kommer att tillämpas. Den här egenskapen gäller inte när du konfigurerar filsökvägstypen som Lista över filer.	datetime	Nej	modifiedDatetimeStart modifiedDatetimeEnd
Inaktivera segmentering	Segmenteringen är utformad för att optimera prestanda och sker under. Med det här alternativet kan du inaktivera segmentering i varje fil. När du kopierar data från SFTP försöker tjänsten hämta fillängden först och sedan dela upp filen i flera delar och läsa dem parallellt. Ange om SFTP-servern har stöd för att hämta fillängd eller försöka läsa från en viss förskjutning.	markerad eller omarkerad (standard)	Nej	disableChunking: sant eller falskt (standard)
Aktivera partitionsidentifiering	Anger om partitionerna ska parsas från filsökvägen och lägga till dem som ytterligare källkolumner.	markerad eller omarkerad (standard)	Nej	enablePartitionDiscovery: sant eller falskt (standard)
Partitionsrotsökväg	Den absoluta partitionsrotsökvägen för att läsa partitionerade mappar som datakolumner. Ange när partitionsidentifiering är aktiverat.	< partitionsrotsökväg >	Nej	partitionRootPath
Maximalt antal samtidiga anslutningar	Den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.	< övre gränsen för samtidiga anslutningar > (heltal)	Nej	maxConcurrent Anslut ions
Ytterligare kolumner	Lägg till ytterligare datakolumner för att lagra källfilernas relativa sökväg eller statiska värde. Uttrycket stöds för det senare. Mer information finns i Lägg till ytterligare kolumner under kopiering	• Namn •Värde	Nej	additionalColumns: •Namn •Värde

Mål

Name	Beskrivning	Värde	Obligatoriskt	JSON-skriptegenskap
Typ av datalager	Din datalagertyp.	Externt	Ja	/
Anslutning	Din anslutning till käll-SFTP.	< din anslutning >	Ja	anslutning
Filsökväg	Filsökvägen för dina måldata.	Filsökväg för målet	Ja	folderPath fileName
Filformat	Filformatet för dina källdata. Information om olika filformat finns i artiklar i format som stöds för detaljerad information.	/	Ja	/
Kopieringsbeteende	Definierar kopieringsbeteendet när källan är filer från ett filbaserat datalager.	• Platta ut hierarki • Sammanfoga filer • Bevara hierarkin	Nej	copyBehavior: - FlattenHierarchy – MergeFiles - PreserveHierarchy
Maximalt antal samtidiga anslutningar	Den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.	< maximalt antal samtidiga anslutningar >	Nej	maxConcurrent Anslut ions
Tidsgräns för åtgärd (minuter)	Tidsgränsen för att skriva varje segment till SFTP-servern.	< tidsgränsen för åtgärden > Standardvärdet är 60	Nej	operationTimeout
Ladda upp med temporär fil	Anger om tillfälliga filer ska laddas upp och byta namn. Inaktivera det här alternativet om SFTP-servern inte stöder byt namn.	markerad (standard) eller omarkerad	Nej	useTempFileRename: sant (standard) eller falskt

Relaterat innehåll

• Översikt över SFTP-anslutningsapp