Så här konfigurerar du Azure Blob Storage i kopieringsaktiviteten
Den här artikeln beskriver hur du använder kopieringsaktiviteten i datapipelinen för att kopiera data från och till Azure Blob Storage.
Viktigt
Microsoft Fabric är för närvarande i förhandsversion. Den här informationen gäller en förhandsversionsprodukt som kan ändras avsevärt innan den släpps. Microsoft lämnar inga garantier, uttryckta eller underförstådda, med avseende på den information som tillhandahålls här. Se Azure Data Factory dokumentation för tjänsten i Azure.
Format som stöds
Azure Blob Storage stöder följande filformat. Se varje artikel för formatbaserade inställningar.
- Avro-format
- Binärt format
- Avgränsat textformat
- Excel-format
- JSON-format
- ORC-format
- Parquet-format
- XML-format
Konfiguration som stöds
Konfigurationen av varje flik under kopieringsaktiviteten finns i följande avsnitt.
Allmänt
Se vägledningen allmänna inställningar för att konfigurera fliken Allmänna inställningar.
Källa
Följande egenskaper stöds för Azure Blob Storage under fliken Källa för en kopieringsaktivitet.
Följande egenskaper krävs:
- Typ av datalager: Välj Extern.
- Anslutning: Välj en Azure Blob Storage-anslutning i anslutningslistan. Om det inte finns någon anslutning skapar du en ny Azure Blob Storage genom att välja Ny.
- Filsökväg: Välj Bläddra för att välja den fil som du vill kopiera eller fyll i sökvägen manuellt.
- Filinställningar: Välj Filinställningar för att konfigurera filformatet. Detaljerad information finns i artiklar i Format som stöds för inställningar för olika filformat.
Under Avancerat kan du ange följande fält:
Filsökvägstyp: Du kan välja Filsökväg, Prefix, Sökväg till jokertecken, Lista över filer som filsökvägstyp. Konfigurationen för varje inställning är:
Filsökväg: Om du väljer den här typen kan data kopieras från den angivna containern eller mapp-/filsökvägen som angavs tidigare.
Prefix: Prefix för blobnamnet under den angivna containern som konfigurerats för att filtrera källblobar. Blobar vars namn börjar med
container/this_prefix
är markerade. Den använder filtret på tjänstsidan för bloblagring.När du använder prefix och väljer att kopiera till ett filbaserat mål med bevarad hierarki bevaras undersökvägen efter det sista "/" i prefixet. Du har till exempel en källa
container/folder/subfolder/file.txt
och konfigurerar prefixet somfolder/sub
, och sedan ärsubfolder/file.txt
den bevarade filsökvägen .Sökväg till jokertecken: Ange mappen eller filsökvägen med jokertecken under din angivna blobcontainer för att filtrera dina källmappar eller -filer.
Tillåtna jokertecken är
*
(matchar noll eller flera tecken) och?
(matchar noll eller enskilt tecken). Använd^
för att undanta om mappnamnet har ett jokertecken eller det här escape-tecknet inuti. Fler exempel finns i Exempel på mapp- och filfilter.Sökväg till jokerteckenmapp: Ange mappsökvägen med jokertecken under den aktuella containern för att filtrera källmappar.
Namn på jokerteckenfil: Ange filnamnet med jokertecken under den angivna container- och mappsökvägen (eller sökvägen till jokerteckenmappen) för att filtrera källfiler.
Lista över filer: Anger en angiven filuppsättning att kopiera till. I listan Sökväg till fil anger eller bläddrar du till en textfil som innehåller en lista över filer som du vill kopiera, en fil per rad, vilket är den relativa sökvägen till varje fil.
När du använder det här alternativet ska du inte ange något filnamn. Fler exempel finns i Exempel på fillista.
Rekursivt: Om den här kryssrutan är markerad bearbetas alla filer i indatamappen och dess undermappar rekursivt. Om du avmarkerar kryssrutan bearbetas bara de i den valda mappen. Den här inställningen inaktiveras när en enskild fil väljs.
Ta bort filer efter slutförande: Om den här kryssrutan är markerad tas de binära filerna bort från källarkivet när de har flyttats till målarkivet. Filborttagningen sker per fil, så när kopieringsaktiviteten misslyckas ser du att vissa filer redan har kopierats till målet och tagits bort från källan, medan andra fortfarande finns kvar i källarkivet.
Anteckning
Den här egenskapen är endast giltig i ett scenario med kopiering av binära filer.
Maximalt antal samtidiga anslutningar: Den här egenskapen anger den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.
Mål
Följande egenskaper stöds för Azure Blob Storage under fliken Mål för en kopieringsaktivitet.
Följande egenskaper krävs:
- Typ av datalager: Välj Extern.
- Anslutning: Välj en Azure Blob Storage-anslutning i anslutningslistan. Om anslutningen inte finns skapar du en ny Azure Blob Storage genom att välja Ny.
- Filsökväg: Välj Bläddra för att välja den fil som du vill kopiera eller fylla i sökvägen manuellt.
- Filinställningar: Välj Filinställningar för att konfigurera filformatet. Detaljerad information finns i artiklar i Format som stöds för inställningar för olika filformat.
Under Avancerat kan du ange följande fält:
Kopieringsbeteende: Definierar kopieringsbeteendet när källan är filer från ett filbaserat datalager. Du kan välja Lägg till dynamiskt innehåll, Ingen, FlattenHierarchy eller Bevara hierarki i listrutan.
Lägg till dynamiskt innehåll: Om du vill ange ett uttryck för ett egenskapsvärde väljer du Lägg till dynamiskt innehåll. Den här markeringen öppnar uttrycksverktyget där du kan skapa uttryck från systemvariabler som stöds, aktivitetsutdata, funktioner och användardefinierade variabler eller parametrar. Information om uttrycksspråket finns i Uttryck och funktioner.
Ingen: Välj det här valet om du inte vill använda något kopieringsbeteende.
Platta ut hierarki: Alla filer från källmappen finns på den första nivån i målmappen. Målfilerna har automatiskt genererade namn.
Behåll hierarkin: Bevarar filhierarkin i målmappen. Den relativa sökvägen för källfilen till källmappen är identisk med den relativa sökvägen för målfilen till målmappen.
Maximalt antal samtidiga anslutningar: Den övre gränsen för samtidiga anslutningar som upprättas till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.
Blockstorlek (MB): Ange blockstorleken i megabyte som används för att skriva data till blockblobar. Mer information finns i Om blockblobar.
Metadata: Ange anpassade metadata när du kopierar till ett mål. Varje objekt under matrisen
metadata
representerar en extra kolumn.name
definierar namnet på metadatanyckeln ochvalue
anger datavärdet för nyckeln. Omfunktionen för att bevara attribut används kommer angivna metadata att förenas/skrivas över med källfilens metadata.Tillåtna datavärden är:
$$LASTMODIFIED
: en reserverad variabel anger att källfilernas senaste ändringstid ska lagras. Använd endast filbaserad källa med binärt format.Uttryck
Statiskt värde
Mappning
För Konfiguration av fliken Mappning går du till Konfigurera dina mappningar under mappningsfliken. Om du väljer Binärt som filformat stöds inte mappning.
Inställningar
Flikkonfiguration för Inställningar finns i Konfigurera dina andra inställningar under fliken Inställningar.
Tabellsammanfattning
Följande tabeller innehåller mer information om kopieringsaktiviteten i Azure Blob Storage.
Källinformation
Name | Beskrivning | Värde | Obligatorisk | JSON-skriptegenskap |
---|---|---|---|---|
Datalagertyp | Din datalagertyp. | Extern | Ja | / |
Anslutning | Din anslutning till källdatalagret. | <din anslutning> | Ja | anslutning |
Filsökväg | Filsökvägen för dina källdata. | <filsökväg till källan> | Ja | container fileName |
Filsökvägstyp | Den filsökvägstyp som du vill använda. | • Filsökväg •Prefix • Sökväg till jokerteckenmapp, namn på jokerteckenfil • Lista över filer |
Nej | •Prefix • jokerteckenFolderPath, jokerteckenFileName • fileListPath |
Rekursivt | Bearbeta alla filer i indatamappen och dess undermappar rekursivt eller bara de i den valda mappen. Den här inställningen inaktiveras när en enskild fil väljs. | Markera eller avmarkera | Nej | Rekursiv |
Ta bort filer efter slutförande | Filerna i källdatalagret tas bort direkt efter att de har flyttats till mållagret. Filborttagningen sker per fil, så när en kopieringsaktivitet misslyckas ser du att vissa filer redan har kopierats till målet och tagits bort från källan, medan andra fortfarande finns i källarkivet. | Markera eller avmarkera | Nej | deleteFilesAfterCompletion |
Maximalt antal samtidiga anslutningar | Den övre gränsen för samtidiga anslutningar som upprättas till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar. | <maximalt antal samtidiga anslutningar> | Nej | maxConcurrentConnections |
Målinformation
Name | Beskrivning | Värde | Obligatorisk | JSON-skriptegenskap |
---|---|---|---|---|
Datalagertyp | Din datalagertyp. | Extern | Ja | / |
Anslutning | Din anslutning till måldatalagret. | <din anslutning> | Ja | anslutning |
Filsökväg | Sökvägen till måldata. | Källans filsökväg | Ja | container fileName |
Kopieringsbeteende | Definierar beteendet vid kopiering av filer från ett filsystem, till exempel lagring, till det andra (till exempel från en bloblagring till en annan). | •Ingen • Lägg till dynamiskt innehåll • Platta ut hierarki • Bevara hierarkin |
Nej | copyBehavior |
Maximalt antal samtidiga anslutningar | Den övre gränsen för samtidiga anslutningar som upprättas till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar. | <maximalt antal samtidiga anslutningar> | Nej | maxConcurrentConnections |
Blockstorlek (MB) | Ange blockstorleken i MB när du skriver data till Azure Blob Storage. Det tillåtna värdet är mellan 4 MB och 100 MB. | <blockstorlek> | Nej | blockSizeInMB |
Metadata | Ange anpassade metadata när du kopierar till målet. | • $$LASTMODIFIED •Uttryck • Statiskt värde |
Nej | metadata |