Konfigurera Azure Data Lake Storage Gen2 i en kopieringsaktivitet

Den här artikeln beskriver hur du använder kopieringsaktiviteten i datapipelinen för att kopiera data från och till Azure Data Lake Storage Gen2.

Format som stöds

Azure Data Lake Storage Gen2 stöder följande filformat. Se varje artikel för formatbaserade inställningar.

• Avro-format
• Binärt format
• Avgränsat textformat
• Excel-format
• JSON-format
• ORC-format
• Parquet-format
• XML-format

Konfiguration som stöds

För konfigurationen av varje flik under kopieringsaktivitet går du till följande avsnitt.

• Allmänt
• Source
• Mål
• Mappning
• Inställningar

Allmänt

Se vägledningen allmänna inställningar för att konfigurera fliken Allmänna inställningar.

Källa

Följande egenskaper stöds för Azure Data Lake Storage Gen2 under fliken Källa för en kopieringsaktivitet.

Följande egenskaper krävs:

• Datalagertyp: Välj Extern.

• Anslut ion: Välj en Azure Data Lake Storage Gen2-anslutning i anslutningslistan. Om det inte finns någon anslutning skapar du en ny Azure Data Lake Storage Gen2-anslutning genom att välja Ny.

• Anslut ionstyp: Välj Azure Data Lake Storage Gen2.

• Filsökvägstyp: Du kan välja Filsökväg, Sökväg till jokertecken eller Lista över filer som filsökvägstyp. Konfigurationen av var och en av dessa inställningar är:

  • Filsökväg: Om du väljer den här typen kan data kopieras från det angivna filsystemet eller mapp-/filsökvägen som angavs tidigare.

  • Sökväg till jokertecken: Om du väljer den här typen anger du sökvägarna Filsystem och Jokertecken.

    • Filsystem: Filsystemnamnet för Azure Data Lake Storage Gen2.

    • Sökvägar med jokertecken: Ange mappen eller filsökvägen med jokertecken under det angivna filsystemet för att filtrera källmappar eller filer.

      Tillåtna jokertecken är: * (matchar noll eller fler tecken) och ? (matchar noll eller enskilt tecken). Använd ^ för att fly om mappnamnet har jokertecken eller det här escape-tecknet inuti. Fler exempel finns i Exempel på mapp- och filfilter.

      

      • Sökväg till jokerteckenmapp: Ange mappsökvägen med jokertecken under det angivna filsystemet för att filtrera källmappar.

      • Namn på jokerteckenfil: Ange filnamnet med jokertecken under det angivna filsystemet + mappsökvägen (eller sökvägen till jokerteckenmappen) för att filtrera källfiler.

  • Lista över filer: Anger att du vill kopiera en viss filuppsättning. Ange Mappsökväg och Sökväg till fillista för att peka på en textfil som innehåller en lista över filer som du vill kopiera, en fil per rad, vilket är den relativa sökvägen till sökvägen. Om du vill ha fler exempel går du till Exempel på fillista.

    

    • Mappsökväg: Ange sökvägen till en mapp under det angivna filsystemet. Det krävs.

    • Sökväg till fillista: Ange sökvägen till textfilen som innehåller en lista över filer som du vill kopiera.

• Rekursivt: Ange om data ska läsas rekursivt från undermapparna eller endast från den angivna mappen. Observera att när Rekursivt har valts och målet är ett filbaserat arkiv kopieras inte en tom mapp eller undermapp på målet. Den här egenskapen är markerad som standard och gäller inte när du konfigurerar Sökväg till fillista.

• Filformat: Välj det filformat som används i listrutan. Välj Inställningar för att konfigurera filformatet. För inställningar för olika filformat, se artiklar i format som stöds för detaljerad information.

Under Avancerat kan du ange följande fält:

• Filtrera efter senast ändrad: Filer filtreras baserat på de senast ändrade datumen. Den här egenskapen gäller inte när du konfigurerar filsökvägstypen som Lista över filer.

  • Starttid (UTC): Filerna väljs om deras senaste ändringstid är större än eller lika med den konfigurerade tiden.

  • Sluttid (UTC): Filerna väljs om deras senaste ändringstid är mindre än den konfigurerade tiden.

  När Starttid (UTC) har datetime-värde men Sluttid (UTC) är NULL innebär det att de filer vars senast ändrade attribut är större än eller lika med datetime-värdet väljs. När Sluttid (UTC) har datetime-värde men Starttid (UTC) är NULL innebär det att de filer vars senast ändrade attribut är mindre än datetime-värdet väljs. Egenskaperna kan vara NULL, vilket innebär att inget filattributfilter tillämpas på data.

• Aktivera partitionsidentifiering: Ange om partitionerna ska parsas från filsökvägen och lägga till dem som ytterligare källkolumner. Den är avmarkerad som standard och stöds inte när du använder binärt filformat.

  • Partitionsrotsökväg: När partitionsidentifiering är aktiverat anger du den absoluta rotsökvägen för att läsa partitionerade mappar som datakolumner.

    Om det inte anges, som standard,

    • När du använder filsökvägen eller listan över filer på källan är partitionsrotsökvägen den sökväg som du har konfigurerat.
    • När du använder mappfilter för jokertecken är partitionsrotsökvägen undersökvägen före det första jokertecknet.

    Anta till exempel att du konfigurerar sökvägen som root/folder/year=2020/month=08/day=27:

    • Om du anger partitionsrotsökväg som root/folder/year=2020genererar kopieringsaktiviteten ytterligare två kolumner månad och dag med värdet "08" respektive "27", förutom kolumnerna i filerna.
    • Om partitionsrotsökvägen inte har angetts genereras ingen extra kolumn.

  

• Maximalt antal samtidiga anslutningar: Den här egenskapen anger den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.

• Ytterligare kolumner: Lägg till ytterligare datakolumner för att lagra källfilernas relativa sökväg eller statiska värde. Uttrycket stöds för det senare.

Mål

Följande egenskaper stöds för Azure Data Lake Storage Gen2 under fliken Mål för en kopieringsaktivitet.

Följande egenskaper krävs:

• Datalagertyp: Välj Extern.
• Anslut ion: Välj en Azure Data Lake Storage Gen2-anslutning i anslutningslistan. Om det inte finns någon anslutning skapar du en ny Azure Data Lake Storage Gen2-anslutning genom att välja Ny.
• Anslut ionstyp: Välj Azure Data Lake Storage Gen2.
• Filsökväg: Välj Bläddra för att välja den fil som du vill kopiera eller fylla i sökvägen manuellt.
• Filformat: Välj det filformat som används i listrutan. Välj Inställningar för att konfigurera filformatet. För inställningar för olika filformat, se artiklar i format som stöds för detaljerad information.

Under Avancerat kan du ange följande fält:

• Kopieringsbeteende: Definierar kopieringsbeteendet när källan är filer från ett filbaserat datalager. Du kan välja ett beteende i listrutan.

  

  • Platta ut hierarki: Alla filer från källmappen är på den första nivån i målmappen. Målfilerna har automatiskt genererade namn.
  • Sammanfoga filer: Sammanfogar alla filer från källmappen till en fil. Om filnamnet anges är det kopplade filnamnet det angivna namnet. Annars är det ett automatiskt genererat filnamn.
  • Bevara hierarkin: Bevarar filhierarkin i målmappen. Den relativa sökvägen för källfilen till källmappen är identisk med den relativa sökvägen för målfilen till målmappen.

• Maximalt antal samtidiga anslutningar: Den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.

• Blockstorlek (MB): Ange blockstorleken i MB som används för att skriva data till Azure Data Lake Storage Gen2. Mer information finns i Blockblobar. Det tillåtna värdet är mellan 4 MB och 100 MB.

  Som standard bestäms blockstorleken automatiskt baserat på källlagringstypen och data. För icke-binär kopiering till Azure Data Lake Storage Gen2 är standardblockstorleken 100 MB för att få plats med högst cirka 4,75 TB data. Det kanske inte är optimalt när dina data inte är stora. Du kan uttryckligen ange en blockstorlek, och se till att Blockstorlek (MB)*50000 är tillräckligt stor för att lagra data, annars misslyckas kopieringsaktivitetskörningen.

• Metadata: Ange anpassade metadata när du kopierar till ett mål. Varje objekt under matrisen metadata representerar en extra kolumn. name Definierar namnet på metadatanyckeln value och anger nyckelns datavärde. Om funktionen bevara attribut används kommer angivna metadata att kopplas/skrivas över med källfilens metadata.

  Tillåtna datavärden är:

  • $$LASTMODIFIED: En reserverad variabel anger att källfilerna senast ändrades. Gäller endast för en filbaserad källa med binärt format.
  • Expression
  • Statiskt värde

  

Mappning

För Konfiguration av fliken Mappning går du till Konfigurera dina mappningar under mappningsfliken. Om du väljer Binärt som filformat stöds inte mappning.

Inställningar

För Inställningar flikkonfiguration går du till Konfigurera dina andra inställningar under fliken Inställningar.

Tabellsammanfattning

Följande tabeller innehåller mer information om kopieringsaktiviteten i Azure Data Lake Storage Gen2.

Källinformation

Name	Beskrivning	Värde	Obligatoriskt	JSON-skriptegenskap
Typ av datalager	Din datalagertyp.	Externt	Ja	/
Anslutning	Din anslutning till källdatalagret.	<din Azure Data Lake Storage Gen2-anslutning>	Ja	anslutning
Anslutningstyp	Din anslutningstyp. Välj Azure Data Lake Storage Gen2.	Azure Data Lake Storage Gen2	Ja	/
Filsökvägstyp	Den filsökvägstyp som du vill använda.	• Filsökväg • Sökväg till jokerteckenmapp, namn på jokerteckenfil •Lista över filer	Ja	• folderPath, fileName, fileSystem • jokerteckenFolderPath, jokerteckenFileName, fileSystem • folderPath, fileName, fileListPath
Rekursivt	Anger om data läse rekursivt från undermapparna eller endast från den angivna mappen. Observera att när Rekursivt har valts och målet är ett filbaserat arkiv kopieras inte en tom mapp eller undermapp på målet. Den här egenskapen gäller inte när du konfigurerar Sökväg till fillista.	markerad (standard) eller avmarkera	Nej	Rekursiv
Filtrera efter senast ändrad	Filerna med senast ändrad tid i intervallet [Starttid, Sluttid) filtreras för vidare bearbetning. Tiden tillämpas på UTC-tidszonen i formatet yyyy-mm-ddThh:mm:ss.fffZ. Dessa egenskaper kan hoppas över, vilket innebär att inget filattributfilter kommer att tillämpas. Den här egenskapen gäller inte när du konfigurerar filsökvägstypen som Lista över filer.	datetime	Nej	modifiedDatetimeStart modifiedDatetimeEnd
Aktivera partitionsidentifiering	Anger om partitionerna ska parsas från filsökvägen och lägga till dem som ytterligare källkolumner.	markerad eller omarkerad (standard)	Nej	enablePartitionDiscovery: sant eller falskt (standard)
Partitionsrotsökväg	När partitionsidentifiering är aktiverat anger du den absoluta rotsökvägen för att läsa partitionerade mappar som datakolumner.	< partitionens rotsökväg >	Nej	partitionRootPath
Maximalt antal samtidiga anslutningar	Den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.	<maximalt antal samtidiga anslutningar>	Nej	maxConcurrent Anslut ions
Ytterligare kolumner	Lägg till ytterligare datakolumner för att lagra källfilernas relativa sökväg eller statiska värde. Uttrycket stöds för det senare.	• Namn •Värde	Nej	additionalColumns: •Namn •Värde

Målinformation

Name	Beskrivning	Värde	Obligatoriskt	JSON-skriptegenskap
Typ av datalager	Din datalagertyp.	Externt	Ja	/
Anslutning	Din anslutning till måldatalagret.	<din Azure Data Lake Storage Gen2-anslutning>	Ja	anslutning
Anslutningstyp	Din anslutningstyp. Välj Azure Data Lake Storage Gen2.	Azure Data Lake Storage Gen2	Ja	/
Filsökväg	Filsökvägen för dina måldata.	< din filsökväg >	Ja	folderPath, fileName, fileSystem
Kopieringsbeteende	Definierar kopieringsbeteendet när källan är filer från ett filbaserat datalager.	• Platta ut hierarki • Sammanfoga filer • Bevara hierarkin	Nej	copyBehavior: • FlatHierarchy • MergeFiles • PreserveHierarchy
Maximalt antal samtidiga anslutningar	Den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.	<maximalt antal samtidiga anslutningar>	Nej	maxConcurrent Anslut ions
Blockstorlek (MB)	Ange blockstorleken i MB när du skriver data till Azure Data Lake Storage Gen2. Det tillåtna värdet är mellan 4 MB och 100 MB.	<blockstorlek>	Nej	blockSizeInMB
Metadata	Ange anpassade metadata när du kopierar till mål.	• $$LASTMODIFIED •Uttryck • Statiskt värde	Nej	metadata

Relaterat innehåll

• Konfigurera din Azure Data Lake Storage Gen2-anslutning