Dela via

Konfigurera FTP i en kopieringsaktivitet

  • Artikel

Den här artikeln beskriver hur du använder kopieringsaktiviteten i datapipelinen för att kopiera data från FTP.

Format som stöds

FTP stöder följande filformat. Se varje artikel för formatbaserade inställningar.

Konfiguration som stöds

För konfigurationen av varje flik under kopieringsaktivitet går du till följande avsnitt.

Allmänt

Se vägledningen allmänna inställningar för att konfigurera fliken Allmänna inställningar.

Källa

Gå till fliken Källa för att konfigurera kopieringsaktivitetskällan. Se följande innehåll för den detaljerade konfigurationen.

Screenshot showing source tab and the list of properties.

Följande tre egenskaper krävs:

  • Datalagertyp: Välj Extern.

  • Anslut ion: Välj en FTP-anslutning i anslutningslistan. Om det inte finns någon anslutning skapar du en ny FTP-anslutning genom att välja Ny.

  • Filsökvägstyp: Välj från Filsökväg, Sökväg till jokertecken och Lista över filer baserat på hur du vill läsa filer.

    • Filsökväg: Om du väljer den här typen anger du källfilens sökväg. Du kan välja Bläddra för att välja källfiler eller ange filsökvägen manuellt.

    • Sökväg till vild fil: Om du väljer den här typen anger du sökvägarna för jokertecken för att filtrera dina källmappar eller -filer.

      Tillåtna jokertecken är * (matchar noll eller fler tecken) och ? (matchar noll eller enskilt tecken). Använd ^ för att fly om mappnamnet har ett jokertecken eller det här escape-tecknet inuti. Fler exempel finns i Exempel på mapp- och filfilter.

      Screenshot showing wildcard file path.

      Sökväg till jokerteckenmapp: Ange mappsökvägen med jokertecken för att filtrera källmappar.

      Namn på jokerteckenfil: Ange filnamnet med jokertecken under den angivna mappsökvägenPath/jokertecken för att filtrera källfiler.

    • Lista över filer: Om du väljer den här typen anger du mappsökväg och sökväg till fillista som anger att en angiven filuppsättning ska kopieras. Peka på en textfil som innehåller en lista över filer som du vill kopiera, en fil per rad. Om du vill ha fler exempel går du till Exempel på fillista.

      Mappsökväg: Ange sökvägen till källmappen. Det krävs.
      Sökväg till fillista: Ange sökvägen till textfilen som innehåller en lista över filer som du vill kopiera.

      Screenshot showing list of files.

  • Filformat: Välj det filformat som används i listrutan. Välj Inställningar för att konfigurera filformatet. För inställningar för olika filformat, se artiklar i format som stöds för detaljerad information.

Under Avancerat kan du ange följande fält:

  • Filtrera efter senast ändrad: Filer filtreras baserat på de senast ändrade datumen. Den här egenskapen gäller inte när du konfigurerar filsökvägstypen som Lista över filer.

    • Starttid (UTC): Filerna väljs om deras senaste ändringstid är större än eller lika med den konfigurerade tiden.
    • Sluttid (UTC): Filerna väljs om deras senaste ändringstid är mindre än den konfigurerade tiden.

    När Starttid (UTC) har datetime-värde men Sluttid (UTC) är NULL innebär det att de filer vars senast ändrade attribut är större än eller lika med datetime-värdet väljs. När Sluttid (UTC) har datetime-värde men Starttid (UTC) är NULL innebär det att de filer vars senast ändrade attribut är mindre än datetime-värdet väljs. Egenskaperna kan vara NULL, vilket innebär att inget filattributfilter tillämpas på data.

  • Inaktivera segmentering: Segmenteringen är utformad för att optimera prestanda och sker under. Med det här alternativet kan du inaktivera segmentering i varje fil. När du kopierar data från FTP försöker tjänsten hämta fillängden först och sedan dela upp filen i flera delar och läsa dem parallellt. Ange om FTP-servern har stöd för att hämta fillängd eller försöka läsa från en viss förskjutning. Den är avmarkerad som standard.

  • Aktivera partitionsidentifiering: Ange om partitionerna ska parsas från filsökvägen och lägga till dem som ytterligare källkolumner. Den är avmarkerad som standard och stöds inte när du använder binärt filformat.

    • Partitionsrotsökväg: När partitionsidentifiering är aktiverat anger du den absoluta rotsökvägen för att läsa partitionerade mappar som datakolumner.
      Om det inte anges, som standard,

      • När du använder filsökvägen eller listan över filer på källan är partitionsrotsökvägen den sökväg som du har konfigurerat.
      • När du använder mappfilter för jokertecken är partitionsrotsökvägen undersökvägen före det första jokertecknet.

      Anta till exempel att du konfigurerar sökvägen som root/folder/year=2020/month=08/day=27:

      • Om du anger partitionsrotsökväg som root/folder/year=2020genererar kopieringsaktiviteten ytterligare två kolumner månad och dag med värdet "08" respektive "27", förutom kolumnerna i filerna.
      • Om partitionsrotsökvägen inte har angetts genereras ingen extra kolumn.

      Screenshot showing partition discovery.

  • Använd binär överföring: Ange om binär överföringsläget ska användas. Välj det om du vill använda binärt läge (standard) eller avmarkera det för att använda ASCII.

  • Maximalt antal samtidiga anslutningar: Den här egenskapen anger den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.

  • Ytterligare kolumner: Lägg till ytterligare datakolumner för att lagra källfilernas relativa sökväg eller statiska värde. Uttrycket stöds för det senare. Mer information finns i Lägg till ytterligare kolumner under kopiering.

Mappning

Information om konfiguration av fliken Mappning finns i Konfigurera dina mappningar under mappningsfliken. Om du väljer Binärt som filformat stöds inte mappning.

Inställningar

För Inställningar flikkonfiguration går du till Konfigurera dina andra inställningar under fliken Inställningar.

Tabellsammanfattning

Följande tabell innehåller mer information om kopieringsaktiviteten i FTP.

Källa

Name Beskrivning Värde Obligatoriskt JSON-skriptegenskap
Typ av datalager Din datalagertyp. Externt Ja /
Anslutning FTP-anslutningen till källdatalagret. < din FTP-anslutning > Ja anslutning
Filsökvägstyp Filsökvägstypen som används för att hämta källdata. • Filsökväg
• Sökväg till jokerteckenfil
• Lista över filer		 Ja /
Filsökväg Sökvägen till källfilen. < filsökväg> Ja fileName
mappsökväg
Sökvägar med jokertecken Sökvägen till källfilen med jokertecken. < sökvägen till jokerteckenfilen > Ja för jokerteckenfilnamn jokerteckenFolderPath
jokerteckenFilnamn
Mappsökväg Sökvägen till källmappen. < gemensam sökväg till hemmapp> Ja folderPath
Sökväg till fillista Anger att en angiven filuppsättning ska kopieras. Peka på en textfil som innehåller en lista över filer som du vill kopiera, en fil per rad. < sökväg till fillista > Nej fileListPath
Filformat Filformatet för dina källdata. Information om olika filformat finns i artiklar i format som stöds för detaljerad information. / Ja /
Filtrera efter senast ändrad Filerna med senast ändrad tid i intervallet [Starttid, Sluttid) filtreras för vidare bearbetning. Tiden tillämpas på UTC-tidszonen i formatet yyyy-mm-ddThh:mm:ss.fffZ. Dessa egenskaper kan hoppas över, vilket innebär att inget filattributfilter kommer att tillämpas. Den här egenskapen gäller inte när du konfigurerar filsökvägstypen som Lista över filer. datetime Nej modifiedDatetimeStart
modifiedDatetimeEnd
Inaktivera segmentering Segmenteringen är utformad för att optimera prestanda och sker under. Med det här alternativet kan du inaktivera segmentering i varje fil. När du kopierar data från FTP försöker tjänsten hämta fillängden först och sedan dela upp filen i flera delar och läsa dem parallellt. Ange om FTP-servern har stöd för att hämta fillängd eller försöka läsa från en viss förskjutning. markerad eller omarkerad (standard) Nej disableChunking:
sant eller falskt (standard)
Aktivera partitionsidentifiering Anger om partitionerna ska parsas från filsökvägen och lägga till dem som ytterligare källkolumner. markerad eller omarkerad (standard) Nej enablePartitionDiscovery:
sant eller falskt (standard)
Partitionsrotsökväg Den absoluta partitionsrotsökvägen för att läsa partitionerade mappar som datakolumner. Ange när partitionsidentifiering är aktiverat. < partitionsrotsökväg > Nej partitionRootPath
Använda binär överföring Anger om binärt överföringsläge ska användas. Värdena är sanna för binärt läge (standard) och false för ASCII. markerad (standard) eller omarkerad Nej useBinaryTransfer:
sant (standard) eller falskt
Maximalt antal samtidiga anslutningar Den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar. < övre gränsen för samtidiga anslutningar >
(heltal)		 Nej maxConcurrent Anslut ions
Ytterligare kolumner Lägg till ytterligare datakolumner för att lagra källfilernas relativa sökväg eller statiska värde. Uttrycket stöds för det senare. Mer information finns i Lägg till ytterligare kolumner under kopiering • Namn
•Värde		 Nej additionalColumns:
•Namn
•Värde

Relaterat innehåll