Dela via


Konfigurera Lakehouse i en kopieringsaktivitet

Den här artikeln beskriver hur du använder kopieringsaktiviteten i en datapipeline för att kopiera data från och till Fabric Lakehouse. Som standard skrivs data till Lakehouse Table i V-Order och du kan gå till Delta Lake-tabelloptimering och V-Order för mer information.

Format som stöds

Lakehouse stöder följande filformat. Se varje artikel för formatbaserade inställningar.

Konfiguration som stöds

För konfigurationen av varje flik under kopieringsaktivitet går du till följande avsnitt.

Allmänt

För flikkonfigurationen Allmänt går du till Allmänt.

Källa

Följande egenskaper stöds för Lakehouse under fliken Källa i en kopieringsaktivitet.

Skärmbild som visar källfliken och listan med egenskaper.

Följande egenskaper krävs:

  • Anslutning: Välj en Lakehouse-anslutning i anslutningslistan. Om det inte finns någon anslutning skapar du en ny Lakehouse-anslutning genom att välja Mer längst ned i anslutningslistan. Om du använder Använd dynamiskt innehåll för att ange lakehouse lägger du till en parameter och anger Lakehouse-objekt-ID som parametervärde. Om du vill hämta ditt Lakehouse-objekt-ID öppnar du Lakehouse på din arbetsyta och ID:t är efter /lakehouses/i url:en.

    Skärmbild som visar Lakehouse-objekt-ID.

  • Rotmapp: Välj Tabeller eller filer, vilket anger den virtuella vyn för det hanterade eller ohanterade området i din sjö. Mer information finns i Lakehouse-introduktionen.

    • Om du väljer Tabeller:

      • Tabellnamn: Välj en befintlig tabell i tabelllistan eller ange ett tabellnamn som källa. Eller så kan du välja Ny för att skapa en ny tabell.

        Skärmbild som visar tabellnamn.

      • Tabell: När du använder Lakehouse med scheman i anslutningen väljer du en befintlig tabell med ett schema i tabelllistan eller anger en tabell med ett schema som källa. Eller så kan du välja Ny för att skapa en ny tabell med ett schema. Om du inte anger något schemanamn använder tjänsten dbo som standardschema.

        Skärmbild som visar tabellnamn med schema.

      • Under Avancerat kan du ange följande fält:

        • Tidsstämpel: Ange för att köra frågor mot en äldre ögonblicksbild efter tidsstämpel.
        • Version: Ange om du vill köra frågor mot en äldre ögonblicksbild efter version.
        • Ytterligare kolumner: Lägg till ytterligare datakolumner i lagringskällans relativa sökväg eller statiska värde. Uttrycket stöds för det senare.

      Läsarversion 1 stöds. Du hittar motsvarande Delta Lake-funktioner som stöds i den här artikeln.

    • Om du väljer Filer:

      • Filsökvägstyp: Du kan välja Filsökväg, Sökväg till jokertecken eller Lista över filer som filsökvägstyp. I följande lista beskrivs konfigurationen för varje inställning:

        Skärmbild som visar filsökväg.

        • Filsökväg: Välj Bläddra för att välja den fil som du vill kopiera eller fyll i sökvägen manuellt.

        • Sökväg till jokerteckenfil: Ange mappen eller filsökvägen med jokertecken under ditt angivna ohanterade lakehouse-område (under Filer) för att filtrera källmappar eller -filer. Tillåtna jokertecken är: * (matchar noll eller fler tecken) och ? (matchar noll eller enskilt tecken). Använd ^ för att fly om mappen eller filnamnet har jokertecken eller det här escape-tecknet inuti.

          • Sökväg till jokerteckenmapp: Sökvägen till mappen under den angivna containern. Om du vill använda ett jokertecken för att filtrera mappen hoppar du över den här inställningen och anger den informationen i inställningarna för aktivitetskällan.

          • Namn på jokerteckenfil: Filnamnet under det angivna ohanterade området i Lakehouse (under Filer) och mappsökvägen.

            Skärmbild som visar sökvägen till jokerteckenfilen.

        • Lista över filer: Anger att en angiven filuppsättning ska kopieras.

          • Mappsökväg: Pekar på en mapp som innehåller filer som du vill kopiera.
          • Sökväg till fillista: Pekar på en textfil som innehåller en lista över filer som du vill kopiera, en fil per rad, vilket är den relativa sökvägen till den konfigurerade filsökvägen.

          Skärmbild som visar sökvägen till fillistan.

      • Rekursivt: Anger om data läse rekursivt från undermapparna eller endast från den angivna mappen. Om det är aktiverat bearbetas alla filer i indatamappen och dess undermappar rekursivt. Den här egenskapen gäller inte när du konfigurerar filsökvägstypen som Lista över filer.

      • Filformat: Välj filformatet i listrutan. Välj knappen Inställningar för att konfigurera filformatet. För inställningar för olika filformat, se artiklar i format som stöds för detaljerad information.

      • Under Avancerat kan du ange följande fält:

        • Filtrera efter senast ändrad: Filer filtreras baserat på de senast ändrade datumen. Den här egenskapen gäller inte när du konfigurerar filsökvägstypen som Lista över filer.
          • Starttid: Filerna väljs om deras senaste ändringstid är större än eller lika med den konfigurerade tiden.
          • Sluttid: Filerna väljs om deras senaste ändringstid är mindre än den konfigurerade tiden.
        • Aktivera partitionsidentifiering: För filer som är partitionerade anger du om du vill parsa partitionerna från filsökvägen och lägga till dem som extra källkolumner.
          • Partitionsrotsökväg: När partitionsidentifiering är aktiverat anger du den absoluta rotsökvägen för att läsa partitionerade mappar som datakolumner.
        • Maximalt antal samtidiga anslutningar: Anger den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.

Mål

Följande egenskaper stöds för Lakehouse under fliken Mål för en kopieringsaktivitet.

Skärmbild som visar målfliken.

Följande egenskaper krävs:

  • Anslutning: Välj en Lakehouse-anslutning i anslutningslistan. Om det inte finns någon anslutning skapar du en ny Lakehouse-anslutning genom att välja Mer längst ned i anslutningslistan. Om du använder Använd dynamiskt innehåll för att ange lakehouse lägger du till en parameter och anger Lakehouse-objekt-ID som parametervärde. Om du vill hämta ditt Lakehouse-objekt-ID öppnar du Lakehouse på din arbetsyta och ID:t är efter /lakehouses/i url:en.

    Skärmbild som visar Lakehouse-objekt-ID.

  • Rotmapp: Välj Tabeller eller filer, vilket anger den virtuella vyn för det hanterade eller ohanterade området i din sjö. Mer information finns i Lakehouse-introduktionen.

    • Om du väljer Tabeller:

      • Tabellnamn: Välj en befintlig tabell i tabelllistan eller ange ett tabellnamn som mål. Eller så kan du välja Ny för att skapa en ny tabell.

        Skärmbild som visar tabellnamn.

      • Tabell: När du använder Lakehouse med scheman i anslutningen väljer du en befintlig tabell med ett schema i tabelllistan eller anger en tabell med ett schema som mål. Eller så kan du välja Ny för att skapa en ny tabell med ett schema. Om du inte anger något schemanamn använder tjänsten dbo som standardschema.

        Skärmbild som visar tabellnamn med schema.

      • Under Avancerat kan du ange följande fält:

        • Tabellåtgärder: Ange åtgärden mot den valda tabellen.

          • Lägg till: Lägg till nya värden i en befintlig tabell.

            • Aktivera partition: Med det här valet kan du skapa partitioner i en mappstruktur baserat på en eller flera kolumner. Varje distinkt kolumnvärde (par) är en ny partition. Till exempel "year=2000/month=01/file".
              • Partitionskolumnnamn: Välj från målkolumnerna i schemamappningen när du lägger till data i en ny tabell. När du lägger till data i en befintlig tabell som redan har partitioner härleds partitionskolumnerna automatiskt från den befintliga tabellen. Datatyper som stöds är sträng, heltal, booleskt värde och datetime. Formatet respekterar typkonverteringsinställningarna under fliken Mappning .
          • Skriv över: Skriv över befintliga data och scheman i tabellen med hjälp av de nya värdena. Om den här åtgärden har valts kan du aktivera partitionen i måltabellen:

            • Aktivera partition: Med det här valet kan du skapa partitioner i en mappstruktur baserat på en eller flera kolumner. Varje distinkt kolumnvärde (par) är en ny partition. Till exempel "year=2000/month=01/file".
              • Partitionskolumnnamn: Välj från målkolumnerna i schemamappningen. Datatyper som stöds är sträng, heltal, booleskt värde och datetime. Formatet respekterar typkonverteringsinställningarna under fliken Mappning .

            Det stöder Delta Lake-tidsresor. Den överskrivna tabellen har deltaloggar för de tidigare versionerna, som du kan komma åt i Lakehouse. Du kan också kopiera den tidigare versionstabellen från Lakehouse genom att ange Version i kopieringsaktivitetskällan.

        • Maximalt antal samtidiga anslutningar: Den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.

      Skrivversion 2 stöds. Du hittar motsvarande Delta Lake-funktioner som stöds i den här artikeln.

    • Om du väljer Filer:

      • Filsökväg: Välj Bläddra för att välja den fil som du vill kopiera eller fyll i sökvägen manuellt.

        Skärmbild som visar sökvägen till filer i målet.

      • Filformat: Välj filformatet i listrutan. Välj Inställningar för att konfigurera filformatet. För inställningar för olika filformat, se artiklar i format som stöds för detaljerad information.

      • Under Avancerat kan du ange följande fält:

        • Kopieringsbeteende: Definierar kopieringsbeteendet när källan är filer från ett filbaserat datalager. Du kan välja Platta ut hierarki, Sammanfoga filer, Bevara hierarki eller Lägg till dynamiskt innehåll som kopieringsbeteende. Konfigurationen av varje inställning är:

          • Platta ut hierarki: Alla filer från källmappen är på den första nivån i målmappen. Målfilerna har automatiskt genererade namn.

          • Sammanfoga filer: Sammanfogar alla filer från källmappen till en fil. Om filnamnet anges är det kopplade filnamnet det angivna namnet. Annars är det ett automatiskt genererat filnamn.

          • Bevara hierarkin: Bevarar filhierarkin i målmappen. Den relativa sökvägen för en källfil till källmappen är identisk med den relativa sökvägen för en målfil till målmappen.

          • Lägg till dynamiskt innehåll: Om du vill ange ett uttryck för ett egenskapsvärde väljer du Lägg till dynamiskt innehåll. Det här fältet öppnar uttrycksverktyget där du kan skapa uttryck från systemvariabler som stöds, aktivitetsutdata, funktioner och användardefinierade variabler eller parametrar. Mer information om uttrycksspråket finns i Uttryck och funktioner.

            Skärmbild som visar kopieringsbeteende.

        • Maximalt antal samtidiga anslutningar: Den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.

        • Blockstorlek (MB): Ange blockstorleken i MB när du skriver data till Lakehouse. Det tillåtna värdet är mellan 4 MB och 100 MB.

        • Metadata: Ange anpassade metadata när du kopierar till måldatalagret. Varje objekt under matrisen metadata representerar en extra kolumn. name Definierar namnet på metadatanyckeln value och anger nyckelns datavärde. Om funktionen bevara attribut används kommer angivna metadata att kopplas/skrivas över med källfilens metadata. De tillåtna datavärdena är:

          • $$LASTMODIFIED: en reserverad variabel anger att källfilerna senast ändrades. Gäller endast för en filbaserad källa med binärt format.

          • Uttryck

          • Statiskt värde

            Skärmbild som visar metadata.

Mappning

Om du inte använder Lakehouse-tabellen som måldatalager går du till Mappning för flikkonfigurationen Mappning.

Om du använder Lakehouse-tabellen som måldatalager, förutom konfigurationen i Mappning, kan du redigera typen för målkolumnerna. När du har valt Importera scheman kan du ange kolumntypen i målet.

Till exempel är typen för PersonID-kolumnen i källan int och du kan ändra den till strängtyp vid mappning till målkolumn.

Skärmbild av mappning av målkolumntyp.

Kommentar

Redigering av måltypen stöds för närvarande inte när källan är decimaltyp.

Om du väljer Binärt som filformat stöds inte mappning.

Inställningar

För fliken Inställningar går du till Inställningar.

Tabellsammanfattning

Följande tabeller innehåller mer information om en kopieringsaktivitet i Lakehouse.

Källinformation

Name Beskrivning Värde Obligatoriskt JSON-skriptegenskap
Anslutning Avsnittet för att välja din anslutning. < din Lakehouse-anslutning> Ja workspaceId
artifactId
Rotmapp Typ av rotmapp. Tabeller
Filer
Nej rootFolder:
Tabell eller filer
Tabellnamn Namnet på den tabell som du vill läsa data. <ditt tabellnamn> Ja när du väljer Tabeller i rotmappen table
Tabell Namnet på tabellen med ett schema som du vill läsa data när du använder Lakehouse med scheman som anslutning. <tabellen med ett schema> Ja när du väljer Tabeller i rotmappen /
För tabell
schemanamn Namnet på schemat. <ditt schemanamn>
(standardvärdet är dbo)
Nej (under source ->datasetSettings ->typeProperties)
schema
tabellnamn Tabellens namn. <ditt tabellnamn> Ja table
Tidsstämpel Tidsstämpeln för att fråga en äldre ögonblicksbild. <Tidsstämpel> Nej timestampAsOf
Version: Versionen för att köra frågor mot en äldre ögonblicksbild. <version> Nej versionAsOf
Ytterligare kolumner Ytterligare datakolumner för att lagra källfilernas relativa sökväg eller statiska värde. Uttrycket stöds för det senare. • Namn
•Värde
Nej additionalColumns:
•Namn
•värde
Filsökvägstyp Typ av filsökväg som du använder. Filsökväg
Sökväg till jokerteckenfil
Lista över filer
Ja när du väljer Filer i rotmappen /
Filsökväg Kopiera från sökvägen till en mapp/fil under källdatalagret. <filsökväg> Ja när du väljer Filsökväg • folderPath
•filnamn
Sökvägar med jokertecken Mappsökvägen med jokertecken under källdatalagret som konfigurerats för att filtrera källmappar. <sökvägar med jokertecken> Ja när du väljer sökväg till jokerteckenfil • jokerteckenFolderPath
• jokerteckenFileName
Mappsökväg Pekar på en mapp som innehåller filer som du vill kopiera. <mappsökväg> Nej folderPath
Sökväg till fillista Anger att en angiven filuppsättning ska kopieras. Peka på en textfil som innehåller en lista över filer som du vill kopiera, en fil per rad, vilket är den relativa sökvägen till den konfigurerade sökvägen. <sökväg till fillista> Nej fileListPath
Rekursivt Bearbeta alla filer i indatamappen och dess undermappar rekursivt eller bara de i den valda mappen. Den här inställningen inaktiveras när en enskild fil har valts. markera eller avmarkera Nej rekursiv:
sant eller falskt
Filformat Filformatet för dina källdata. Information om olika filformat finns i artiklar i format som stöds för detaljerad information. / Ja när du väljer Filer i rotmappen /
Filtrera efter senast ändrad Filerna med senast ändrad tid i intervallet [Starttid, Sluttid) filtreras för vidare bearbetning.

Tiden tillämpas på UTC-tidszonen i formatet yyyy-mm-ddThh:mm:ss.fffZ.

Den här egenskapen kan hoppas över, vilket innebär att inget filattributfilter tillämpas. Den här egenskapen gäller inte när du konfigurerar filsökvägstypen som Lista över filer.
Starttid
Sluttid
Nej modifiedDatetimeStart
modifiedDatetimeEnd
Aktivera partitionsidentifiering Om du vill parsa partitionerna från filsökvägen och lägga till dem som extra källkolumner. Markerad eller omarkerad Nej enablePartitionDiscovery:
sant eller falskt (standard)
Partitionsrotsökväg Den absoluta partitionsrotsökvägen för att läsa partitionerade mappar som datakolumner. <partitionens rotsökväg> Nej partitionRootPath
Maximalt antal samtidiga anslutningar Den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ett värde behövs bara när du vill begränsa samtidiga anslutningar. <maximalt antal samtidiga anslutningar> Nej maxConcurrentConnections

Målinformation

Name Beskrivning Värde Obligatoriskt JSON-skriptegenskap
Anslutning Avsnittet för att välja din anslutning. < din Lakehouse-anslutning> Ja workspaceId
artifactId
Rotmapp Typ av rotmapp. Tabeller
Filer
Ja rootFolder:
Tabell eller filer
Tabellnamn Namnet på den tabell som du vill skriva data till. <ditt tabellnamn> Ja när du väljer Tabeller i rotmappen table
Tabell Namnet på tabellen med ett schema som du vill skriva data till när du använder Lakehouse med scheman som anslutning. <tabellen med ett schema> Ja när du väljer Tabeller i rotmappen /
För tabell
schemanamn Namnet på schemat. <ditt schemanamn>
(standardvärdet är dbo)
Nej (under sink ->datasetSettings ->typeProperties)
schema
tabellnamn Tabellens namn. <ditt tabellnamn> Ja table
Tabellåtgärd Lägg till nya värden i en befintlig tabell eller skriv över befintliga data och scheman i tabellen med hjälp av de nya värdena. Lägg till
Skriv över
Nej tableActionOption:
Lägg till eller skriv överschema
Aktivera partitioner Med den här markeringen kan du skapa partitioner i en mappstruktur baserat på en eller flera kolumner. Varje distinkt kolumnvärde (par) är en ny partition. Till exempel "year=2000/month=01/file". Markerad eller omarkerad Nej partitionOption:
PartitionByKey eller Ingen
Partitionskolumner Målkolumnerna i schemamappningen. <dina partitionskolumner> Nej partitionNameList
Filsökväg Skriv data till sökvägen till en mapp/fil under måldatalagret. <filsökväg> Nej • folderPath
•filnamn
Filformat Filformatet för dina måldata. Information om olika filformat finns i artiklar i format som stöds för detaljerad information. / Ja när du väljer Filer i rotmappen /
Kopieringsbeteende Kopieringsbeteendet som definieras när källan är filer från ett filbaserat datalager. Platta ut hierarki
Sammanfoga filer
Bevara hierarkin
Lägg till dynamiskt innehåll
Nej copyBehavior:
• FlatHierarchy
• MergeFiles
• PreserveHierarchy
Maximalt antal samtidiga anslutningar Den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar. <maximalt antal samtidiga anslutningar> Nej maxConcurrentConnections
Blockstorlek (MB) Blockstorleken i MB som används för att skriva data till Lakehouse. Det tillåtna värdet är mellan 4 MB och 100 MB. <blockstorlek> Nej blockSizeInMB
Metadata Den anpassade metadatauppsättningen vid kopiering till ett mål. $$LASTMODIFIED
•Uttryck
• Statiskt värde
Nej metadata