Konfigurace Lakehouse v aktivitě kopírování

Tento článek popisuje, jak pomocí aktivity kopírování v datovém kanálu kopírovat data z a do Fabric Lakehouse. Ve výchozím nastavení se data zapisují do tabulky Lakehouse v objednávce V a další informace najdete v optimalizaci tabulek Delta Lake a V-Order .

Podporovaný formát

Lakehouse podporuje následující formáty souborů. Informace o nastaveních založených na formátu najdete v jednotlivých článcích.

• Formát Avro
• Binární formát
• Formát textu s oddělovači
• Formát aplikace Excel
• Formát JSON
• Formát ORC
• Formát Parquet
• Formát XML

Podporovaná konfigurace

Konfigurace každé karty v aktivitě kopírování najdete v následujících částech.

• Obecné
• Source
• Cíl
• Mapování
• Settings

OBECNÉ

Pro konfiguraci karty Obecné přejděte na Obecné.

Source

U Lakehouse na kartě Zdroj aktivity kopírování se podporují následující vlastnosti.

Jsou vyžadovány následující vlastnosti:

• Typ úložiště dat: Vyberte pracovní prostor.

• Typ úložiště dat pracovního prostoru: Ze seznamu typů úložiště dat vyberte Lakehouse .

• Lakehouse: Vyberte existující lakehouse z pracovního prostoru. Pokud žádný neexistuje, vytvořte nový Lakehouse výběrem možnosti Nový. Pokud k zadání objektu Lakehouse použijete přidat dynamický obsah , přidejte parametr a jako hodnotu parametru zadejte ID objektu Lakehouse. Pokud chcete získat ID objektu Lakehouse, otevřete v pracovním prostoru objekt Lakehouse a ID je za /lakehouses/vaší adresou URL.

  

• Kořenová složka: Vyberte tabulky nebo soubory, které označují virtuální zobrazení spravované nebo nespravované oblasti ve vašem jezeře. Další informace najdete v úvodu k Lakehouse.

  • Pokud vyberete Tabulky:
    • Název tabulky: Vyberte existující tabulku ze seznamu tabulek nebo jako zdroj zadejte název tabulky.
    • V části Upřesnit můžete zadat následující pole:
      • Časové razítko: Zadejte dotaz na starší snímek podle časového razítka.
      • Verze: Zadejte dotaz na starší snímek podle verze.
      • Další sloupce: Přidejte další datové sloupce do relativní cesty nebo statické hodnoty zdrojových souborů úložiště. U druhého výrazu se podporuje.
  • Pokud vyberete Soubory:

    • Typ cesty k souboru: Jako typ cesty k souboru můžete zvolit cestu k souboru, cestu k souboru se zástupným znakem nebo seznam souborů . Následující seznam popisuje konfiguraci jednotlivých nastavení:

      

      • Cesta k souboru: Vyberte Procházet a zvolte soubor, který chcete zkopírovat, nebo cestu vyplňte ručně.

      • Cesta k souboru se zástupnými znaky: Zadejte složku nebo cestu k souboru se zástupnými znaky v dané nespravované oblasti Lakehouse (v části Soubory) a vyfiltrujte zdrojové složky nebo soubory. Povolené zástupné znaky jsou: * (odpovídá nule nebo více znaků) a ? (odpovídá nule nebo jednomu znaku). Slouží ^ k řídicímu znaku, pokud má název složky nebo souboru zástupný znak nebo tento řídicí znak uvnitř.

        • Cesta ke složce se zástupným znakem: Cesta ke složce v daném kontejneru. Pokud chcete k filtrování složky použít zástupný znak, přeskočte toto nastavení a zadejte tyto informace v nastavení zdroje aktivity.

        • Název souboru se zástupnými znamény: Název souboru v dané nespravované oblasti Lakehouse (v části Soubory) a cesta ke složce.

          

      • Seznam souborů: Označuje, že chcete zkopírovat danou sadu souborů.

        • Cesta ke složce: Odkazuje na složku obsahující soubory, které chcete kopírovat.
        • Cesta k seznamu souborů: Odkazuje na textový soubor, který obsahuje seznam souborů, které chcete kopírovat, jeden soubor na řádek, což je relativní cesta k nakonfigurované cestě k souboru.

        

    • Rekurzivně: Označuje, jestli se data čtou rekurzivně z podsložek nebo pouze ze zadané složky. Pokud je tato možnost povolená, všechny soubory ve vstupní složce a jejích podsložkách se zpracovávají rekurzivně. Tato vlastnost se nepoužije při konfiguraci typu cesty k souboru jako seznam souborů.

    • Formát souboru: V rozevíracím seznamu vyberte formát souboru. Výběrem tlačítka Nastavení nakonfigurujte formát souboru. Podrobné informace najdete v článku o nastavení různých formátů souborů v podporovaném formátu .

    • V části Upřesnit můžete zadat následující pole:

      • Filtrovat podle poslední změny: Soubory se filtrují na základě data poslední změny. Tato vlastnost se nepoužije při konfiguraci typu cesty k souboru jako seznam souborů.
        • Čas zahájení: Soubory jsou vybrány, pokud je jejich čas poslední změny větší nebo roven nakonfigurované době.
        • Čas ukončení: Soubory se vyberou, pokud je jejich čas poslední změny kratší než nakonfigurovaný čas.
      • Povolit zjišťování oddílů: U souborů, které jsou rozdělené na oddíly, určete, jestli se mají analyzovat oddíly z cesty k souboru a přidat je jako další zdrojové sloupce.
        • Kořenová cesta oddílu: Pokud je povolené zjišťování oddílů, zadejte absolutní kořenovou cestu, abyste mohli číst dělené složky jako datové sloupce.
      • Maximální počet souběžných připojení: Označuje horní limit souběžných připojení vytvořených k úložišti dat během spuštění aktivity. Zadejte hodnotu pouze v případech, kdy chcete omezit souběžná připojení.

Cíl

U Lakehouse na kartě Cíl aktivity kopírování jsou podporovány následující vlastnosti.

Jsou vyžadovány následující vlastnosti:

• Typ úložiště dat: Vyberte pracovní prostor.

• Typ úložiště dat pracovního prostoru: Ze seznamu typů úložiště dat vyberte Lakehouse .

• Lakehouse: Vyberte existující lakehouse z pracovního prostoru. Pokud žádný neexistuje, vytvořte nový Lakehouse výběrem možnosti Nový. Pokud k zadání objektu Lakehouse použijete přidat dynamický obsah , přidejte parametr a jako hodnotu parametru zadejte ID objektu Lakehouse. Pokud chcete získat ID objektu Lakehouse, otevřete v pracovním prostoru objekt Lakehouse a ID je za /lakehouses/vaší adresou URL.

  

• Kořenová složka: Vyberte tabulky nebo soubory, které označují virtuální zobrazení spravované nebo nespravované oblasti ve vašem jezeře. Další informace najdete v úvodu k Lakehouse.

  • Pokud vyberete Tabulky:

    • Název tabulky: Vyberte existující tabulku ze seznamu tabulek nebo jako cíl zadejte název tabulky.

      

    • V části Upřesnit můžete zadat následující pole:

      • Maximální počet řádků na soubor: Při zápisu dat do Lakehouse zadejte maximální počet řádků na soubor.
      • Akce tabulky: Zadejte operaci s vybranou tabulkou.
        • Připojení: Připojte nové hodnoty k existující tabulce.
          • Povolit oddíl: Tento výběr umožňuje vytvářet oddíly ve struktuře složek na základě jednoho nebo více sloupců. Každá jedinečná hodnota sloupce (pár) je nový oddíl. Například "year=2000/month=01/file".
            • Název sloupce oddílu: Při připojení dat k nové tabulce vyberte z cílových sloupců v mapování schémat. Když připojíte data k existující tabulce, která už obsahuje oddíly, sloupce oddílů se odvozují z existující tabulky automaticky. Podporované datové typy jsou řetězec, celé číslo, logická hodnota a datum a čas. Formát respektuje nastavení převodu typů na kartě Mapování .
        • Přepsání: Přepište existující data a schéma v tabulce pomocí nových hodnot. Pokud je tato operace vybraná, můžete v cílové tabulce povolit oddíl:
          • Povolit oddíl: Tento výběr umožňuje vytvářet oddíly ve struktuře složek na základě jednoho nebo více sloupců. Každá jedinečná hodnota sloupce (pár) je nový oddíl. Například "year=2000/month=01/file".
            • Název sloupce oddílu: Vyberte z cílových sloupců v mapování schémat. Podporované datové typy jsou řetězec, celé číslo, logická hodnota a datum a čas. Formát respektuje nastavení převodu typů na kartě Mapování .
      • Maximální počet souběžných připojení: Horní limit souběžných připojení vytvořených k úložišti dat během spuštění aktivity. Zadejte hodnotu pouze v případech, kdy chcete omezit souběžná připojení.

  • Pokud vyberete Soubory:

    • Cesta k souboru: Vyberte Procházet a zvolte soubor, který chcete zkopírovat, nebo cestu vyplňte ručně.

      

    • Formát souboru: V rozevíracím seznamu vyberte formát souboru. Vyberte Nastavení a nakonfigurujte formát souboru. Podrobné informace najdete v článku o nastavení různých formátů souborů v podporovaném formátu .

    • V části Upřesnit můžete zadat následující pole:

      • Chování kopírování: Definuje chování kopírování, pokud zdroj je soubory ze souborového úložiště dat. Jako chování při kopírování můžete zvolit Přidat dynamický obsah, None, Flatten hierarchy nebo Zachovat hierarchii . Konfigurace každého nastavení je:

        • Přidat dynamický obsah: Chcete-li zadat výraz pro hodnotu vlastnosti, vyberte Přidat dynamický obsah. Toto pole otevře tvůrce výrazů, kde můžete vytvářet výrazy z podporovaných systémových proměnných, výstupu aktivity, funkcí a parametrů zadaných uživatelem. Další informace o jazyce výrazů najdete v tématu Výrazy a funkce.

        • Žádné: Tuto možnost vyberte, pokud nechcete používat žádné chování kopírování.

        • Zploštěná hierarchie: Všechny soubory ze zdrojové složky jsou na první úrovni cílové složky. Cílové soubory mají automaticky vygenerované názvy.

        • Zachovat hierarchii: Zachová hierarchii souborů v cílové složce. Relativní cesta zdrojového souboru ke zdrojové složce je shodná s relativní cestou cílového souboru s cílovou složkou.

          

      • Maximální počet souběžných připojení: Horní limit souběžných připojení vytvořených k úložišti dat během spuštění aktivity. Zadejte hodnotu pouze v případech, kdy chcete omezit souběžná připojení.

      • Velikost bloku (MB): Při zápisu dat do Lakehouse zadejte velikost bloku v MB. Povolená hodnota je mezi 4 MB a 100 MB.

      • Metadata: Při kopírování do cílového úložiště dat nastavte vlastní metadata. Každý objekt pod metadata polem představuje další sloupec. Definuje name název klíče metadat a value označuje hodnotu dat tohoto klíče. Pokud se použije funkce zachování atributů, zadaná metadata se sjednocují nebo přepíšou metadaty zdrojového souboru. Povolené datové hodnoty jsou:

        • $$LASTMODIFIED: Rezervovaná proměnná označuje, že se má uložit čas poslední změny zdrojových souborů. Platí pouze pro souborový zdroj s binárním formátem.

        • Výraz

        • Statická hodnota

          

mapování.

Pokud jako cílové úložiště dat nepoužíváte tabulku Lakehouse, přejděte do části Mapování.

Pokud jako cílové úložiště dat použijete tabulku Lakehouse s výjimkou konfigurace v mapování, můžete typ cílových sloupců upravit. Po výběru schémat importu můžete zadat typ sloupce v cíli.

Například typ sloupce PersonID ve zdroji je int a můžete ho změnit na typ řetězce při mapování na cílový sloupec.

Poznámka:

Úprava cílového typu v současné době není podporována, pokud je zdrojem desetinný typ.

Pokud jako formát souboru zvolíte Binary, mapování se nepodporuje.

Nastavení

Konfigurace karty Nastavení přejděte na Nastavení.

Souhrn tabulky

Následující tabulky obsahují další informace o aktivitě kopírování v Lakehouse.

Informace o zdroji

Název	Popis	Hodnota	Požaduje se	Vlastnost skriptu JSON
Typ úložiště dat	Váš typ úložiště dat.	Pracovní prostor	Ano	/
Typ úložiště dat pracovního prostoru	Oddíl pro výběr typu úložiště dat pracovního prostoru.	Jezero	Ano	type
Jezero	Lakehouse, který používáte jako zdroj.	<vaše jezero>	Ano	workspaceId artifactId
Kořenová složka	Typ kořenové složky.	* Tabulky * Soubory	No	rootFolder: Tabulka nebo soubory
Název tabulky	Název tabulky pro čtení dat.	<název tabulky>	Ano, když vyberete Tabulky v kořenové složce	Tabulka (pod typeProperties ->>sourcetypeProperties)
Timestamp	Časové razítko pro dotazování na starší snímek	<Časové razítko>	No	timestampAsOf
Verze	Verze, která se má dotazovat na starší snímek.	<version>	No	versionAsOf
Další sloupce	Další datové sloupce pro ukládání relativní cesty nebo statické hodnoty zdrojových souborů U druhého výrazu se podporuje.	*Jméno *Hodnotu	No	additionalColumns: *Jméno *Hodnotu
Typ cesty k souboru	Typ cesty k souboru, který používáte.	* Cesta k souboru * Cesta k souboru se zástupným znakem * Seznam souborů	Ano	/
Cesta k souboru	Zkopírujte cestu ke složce nebo souboru ve zdrojovém úložišti dat. Použít při volbě Cesta k souboru v typu Cesta k souboru.	<cesta k souboru>	Ano při výběru cesty k souboru	* folderPath *Název_souboru
Zástupné cesty	Cesta ke složce se zástupnými znaky ve zdrojovém úložišti dat nakonfigurovaná pro filtrování zdrojových složek. Použít při výběru cesty k souboru se zástupným znakem v typu Cesta k souboru.	<Zástupné cesty>	Ano při výběru cesty k souboru se zástupným znakem	* Zástupný znakFolderPath * wildcardFileName
Cesta ke složce	Odkazuje na složku, která obsahuje soubory, které chcete kopírovat. Použít při volbě Seznam souborů v typu Cesta k souboru.	<cesta ke složce>	No	folderPath
Cesta k seznamu souborů	Označuje, že chcete zkopírovat danou sadu souborů. Přejděte na textový soubor, který obsahuje seznam souborů, které chcete kopírovat, jeden soubor na řádek, což je relativní cesta k nakonfigurované cestě. Použít při volbě Seznam souborů v typu Cesta k souboru.	<cesta k seznamu souborů>	No	fileListPath
Rekurzivně	Zpracovat všechny soubory ve vstupní složce a jejích podsložkách rekurzivně nebo jenom ty ve vybrané složce. Toto nastavení je zakázané, když je vybrán jeden soubor.	výběr nebo zrušení výběru	No	Rekurzivní: true nebo false
Formát souboru	Formát souboru, který používáte.	<formát souboru>	Ano	typ (v části formatSettings): DelimitedTextRead Nastavení
Filtrovat podle poslední změny	Soubory s časem poslední změny v rozsahu [Počáteční čas, Koncový čas) se vyfiltrují pro další zpracování. Čas se použije u časového pásma UTC ve formátu yyyy-mm-ddThh:mm:ss.fffZ. Tuto vlastnost lze přeskočit, což znamená, že není použit žádný filtr atributů souboru. Tato vlastnost se nepoužije při konfiguraci typu cesty k souboru jako seznam souborů.	* Čas spuštění * Koncový čas	No	modifiedDatetimeStart modifiedDatetimeEnd
Povolení zjišťování oddílů	Zda chcete parsovat oddíly z cesty k souboru a přidat je jako další zdrojové sloupce.	Vybraná nebo nevybraná	No	enablePartitionDiscovery: true nebo false (výchozí)
Kořenová cesta oddílu	Absolutní kořenová cesta oddílu ke čtení dělených složek jako datových sloupců.	<kořenová cesta oddílu>	No	partitionRootPath
Maximální počet souběžných připojení	Horní limit souběžných připojení vytvořených k úložišti dat během spuštění aktivity. Hodnota se vyžaduje jenom v případě, že chcete omezit souběžná připojení.	<maximální počet souběžných připojení>	No	maxConcurrent Připojení ions

Informace o cíli

Název	Popis	Hodnota	Požaduje se	Vlastnost skriptu JSON
Typ úložiště dat	Váš typ úložiště dat.	Pracovní prostor	Ano	/
Typ úložiště dat pracovního prostoru	Oddíl pro výběr typu úložiště dat pracovního prostoru.	Jezero	Ano	type
Jezero	Lakehouse, který používáte jako cíl.	<vaše jezero>	Ano	workspaceId artifactId
Kořenová složka	Typ kořenové složky.	* Tabulky * Soubory	Ano	rootFolder: Tabulka nebo soubory
Název tabulky	Název tabulky, do které chcete zapisovat data.	<název tabulky>	Ano, když vyberete Tabulky v kořenové složce	Tabulka (pod typeProperties ->>sinktypeProperties)
Maximální počet řádků na soubor	Při zápisu dat do složky se můžete rozhodnout zapisovat do více souborů a zadat maximální počet řádků na soubor.	<max rows per flie>	No	maxRowsPerFile
Akce tabulky	Připojte nové hodnoty k existující tabulce nebo přepište existující data a schéma v tabulce pomocí nových hodnot.	* Připojit * Přepsat	No	tableActionOption: Připojení nebo přepsání
Maximální počet souběžných připojení	Horní limit souběžných připojení vytvořených k úložišti dat během spuštění aktivity. Zadejte hodnotu pouze v případech, kdy chcete omezit souběžná připojení.	<maximální počet souběžných připojení>	No	maxConcurrent Připojení ions
Cesta k souboru	Zapisujte data do cesty ke složce nebo souboru v cílovém úložišti dat.	<cesta k souboru>	No	* folderPath *Název_souboru
Formát souboru	Formát souboru, který používáte.	<formát souboru>	Ano	typ (v části formatSettings): DelimitedTextWrite Nastavení
Chování kopírování	Chování kopírování definované, když je zdrojem soubory ze souborového úložiště dat.	* Přidání dynamického obsahu * Nic * Zploštěná hierarchie * Zachování hierarchie	No	copyBehavior: * FlattenHierarchy * PreserveHierarchy
Velikost bloku (MB)	Velikost bloku v MB použitá k zápisu dat do Lakehouse. Povolená hodnota je mezi 4 MB a 100 MB.	<velikost bloku>	No	blockSizeInMB
Metadata	Vlastní metadata nastavená při kopírování do cíle.	* $$LASTMODIFIED *Výraz * Statická hodnota	No	metadata

Související obsah

• Přehled konektoru Lakehouse