Konfigurace Azure Blob Storage v aktivitě kopírování

Článek
05/23/2023

Tento článek popisuje, jak pomocí aktivity kopírování v datovém kanálu kopírovat data z a Azure Blob Storage.

Důležité

Microsoft Fabric je v současné době ve verzi PREVIEW. Tyto informace se týkají předběžné verze produktu, který může být před vydáním podstatně změněn. Společnost Microsoft neposkytuje na zde uvedené informace žádné záruky, vyjádřené ani předpokládané. Projděte si dokumentaci Azure Data Factory pro službu v Azure.

Podporovaný formát

Azure Blob Storage podporuje následující formáty souborů. Informace o nastaveních na základě formátu najdete v jednotlivých článcích.

Formát Avro
Binární formát
Formát textu s oddělovači
Excelový formát
Formát JSON
Formát ORC
Formát Parquet
Formát XML

Podporovaná konfigurace

Informace o konfiguraci jednotlivých karet v části Aktivita kopírování najdete v následujících částech.

Obecné
Zdroj
Cíl
Mapování
Nastavení

Obecné

Informace o konfiguraci karty Obecné nastavení najdete v doprovodných materiálech k obecnému nastavení.

Zdroj

Následující vlastnosti jsou podporovány pro Azure Blob Storage na kartě Zdroj aktivity kopírování.

Vyžadují se následující vlastnosti:

Typ úložiště dat: Vyberte Externí.
Připojení: V seznamu připojení vyberte připojení Azure Blob Storage. Pokud žádné připojení neexistuje, vytvořte nové připojení Azure Blob Storage výběrem možnosti Nové.
Cesta k souboru: Vyberte Procházet a zvolte soubor, který chcete zkopírovat, nebo cestu vyplňte ručně.
Nastavení souboru: Vyberte Nastavení souboru a nakonfigurujte formát souboru. Podrobné informace o nastavení různých formátů souborů najdete v článcích podporovaných formátů .

V části Upřesnit můžete zadat následující pole:

Typ cesty k souboru: Jako typ cesty k souboru můžete zvolit Cesta k souboru, Předpona, Cesta k souboru se zástupnými čísly a Seznam souborů . Konfigurace každého nastavení je následující:
- Cesta k souboru: Pokud zvolíte tento typ, můžete data zkopírovat z dříve zadaného kontejneru nebo cesty ke složce nebo souboru.
- Předpona: Předpona názvu objektu blob v daném kontejneru nakonfigurovaného pro filtrování zdrojových objektů blob. Vyberou se objekty blob, jejichž názvy začínají container/this_prefix na . Využívá filtr na straně služby pro úložiště objektů blob.
  
  Když použijete předponu a rozhodnete se kopírovat do cílového souboru se zachováním hierarchie, zachovají se dílčí cesty za posledním "/" v předponě. Máte například zdroj container/folder/subfolder/file.txta nakonfigurujete předponu jako folder/sub, pak zachovaná cesta k souboru je subfolder/file.txt.
- Cesta k souboru se zástupnými znaky: Zadejte složku nebo cestu k souboru se zástupnými znaky v daném kontejneru objektů blob, abyste mohli filtrovat zdrojové složky nebo soubory.
  
  Povolené zástupné znaky jsou * (odpovídají nule nebo více znakům) a ? (odpovídají nule nebo jednomu znaku). Pokud název složky obsahuje zástupný znak nebo tento řídicí znak uvnitř, použijte ^ k řídicímu znaku. Další příklady najdete v tématu Příklady filtrů složek a souborů.
  
  Cesta ke složce se zástupnými znaky: Zadejte cestu ke složce se zástupnými znaky v daném kontejneru pro filtrování zdrojových složek.
  
  Název souboru se zástupnými znaky: V daném kontejneru a cestě ke složce (nebo cestě ke složce se zástupnými znaky) zadejte název souboru se zástupnými znaky pro filtrování zdrojových souborů.
- Seznam souborů: Označuje soubor, do který se má zkopírovat. V seznamu Cesta k souboru zadejte nebo vyhledejte textový soubor obsahující seznam souborů, které chcete zkopírovat (jeden soubor na řádek), což je relativní cesta ke každému souboru.
  
  Pokud používáte tuto možnost, nezadávejte název souboru. Další příklady najdete v tématu Příklady seznamu souborů.
Rekurzivně: Pokud je toto políčko zaškrtnuté, všechny soubory ve vstupní složce a jejích podsložkách se zpracovávají rekurzivně. Pokud zaškrtnutí políčka zrušíte, zpracují se jenom ty, které jsou ve vybrané složce. Toto nastavení je zakázáno, pokud je vybrán jeden soubor.
Odstranit soubory po dokončení: Pokud je toto políčko zaškrtnuté, binární soubory se po úspěšném přesunu do cílového úložiště odstraní ze zdrojového úložiště. Odstranění souboru probíhá na jednotlivé soubory, takže když aktivita kopírování selže, můžete si všimnout, že některé soubory už byly zkopírovány do cíle a odstraněny ze zdroje, zatímco jiné stále zůstávají ve zdrojovém úložišti.

Poznámka

Tato vlastnost je platná pouze ve scénáři kopírování binárních souborů.
Maximální počet souběžných připojení: Tato vlastnost určuje horní limit souběžných připojení k úložišti dat během spuštění aktivity. Hodnotu zadejte pouze v případech, kdy chcete omezit souběžná připojení.

Cíl

Následující vlastnosti jsou podporovány pro Azure Blob Storage na kartě Cíl aktivity kopírování.

Vyžadují se následující vlastnosti:

Typ úložiště dat: Vyberte Externí.
Připojení: V seznamu připojení vyberte připojení Azure Blob Storage. Pokud připojení neexistuje, vytvořte nové připojení Azure Blob Storage výběrem možnosti Nové.
Cesta k souboru: Vyberte Procházet a zvolte soubor, který chcete zkopírovat nebo vyplnit cestu ručně.
Nastavení souboru: Vyberte Nastavení souboru a nakonfigurujte formát souboru. Podrobné informace o nastavení různých formátů souborů najdete v článcích podporovaných formátů .

V části Upřesnit můžete zadat následující pole:

Chování kopírování: Definuje chování kopírování, když zdrojem jsou soubory ze souborového úložiště dat. V rozevíracím seznamu můžete zvolit Přidat dynamický obsah, Žádný, FlattenHierarchy nebo Zachovat hierarchii .
- Přidat dynamický obsah: Pokud chcete zadat výraz pro hodnotu vlastnosti, vyberte Přidat dynamický obsah. Tento výběr otevře tvůrce výrazů, kde můžete vytvářet výrazy z podporovaných systémových proměnných, výstupu aktivity, funkcí a uživatelem zadaných proměnných nebo parametrů. Informace o jazyce výrazů najdete v části Výrazy a funkce.
- Žádné: Tuto možnost vyberte, pokud nechcete používat žádné chování při kopírování.
- Zploštěná hierarchie: Všechny soubory ze zdrojové složky jsou na první úrovni cílové složky. Cílové soubory mají automaticky vygenerované názvy.
- Zachovat hierarchii: Zachová hierarchii souborů v cílové složce. Relativní cesta zdrojového souboru ke zdrojové složce je shodná s relativní cestou cílového souboru k cílové složce.
Maximální počet souběžných připojení: Horní limit souběžných připojení vytvořených k úložišti dat během spuštění aktivity. Hodnotu zadejte pouze v případech, kdy chcete omezit souběžná připojení.
Velikost bloku (MB): Zadejte velikost bloku (v megabajtech), která se použije k zápisu dat do objektů blob bloku. Další informace najdete v tématu Informace o objektech blob bloku.
Metadata: Při kopírování do cíle nastavte vlastní metadata. Každý objekt v metadata poli představuje sloupec navíc. Definuje name název klíče metadat a value označuje hodnotu dat tohoto klíče. Pokud se použijefunkce zachování atributů , zadaná metadata se sdruží nebo přepíšou s metadaty zdrojového souboru.

Povolené hodnoty dat jsou:
- $$LASTMODIFIED: Rezervovaná proměnná označuje, že se má uložit čas poslední změny zdrojových souborů. Použít pouze pro souborový zdroj v binárním formátu.
- Výraz
- Statická hodnota

Mapování

V části Konfigurace karty Mapovánípřejděte na Konfigurace mapování na kartě Mapování. Pokud jako formát souboru zvolíte Binární, mapování nebude podporováno.

Nastavení

Informace o konfiguraci karty Nastavení najdete v části Konfigurace dalších nastavení na kartě Nastavení.

Souhrn tabulek

Následující tabulky obsahují další informace o aktivitě kopírování v Azure Blob Storage.

Informace o zdroji

Název	Popis	Hodnota	Vyžadováno	Vlastnost skriptu JSON
Typ úložiště dat	Typ úložiště dat.	Externí	Yes	/
Připojení	Vaše připojení ke zdrojovému úložišti dat.	<vaše připojení>	Yes	připojení
Cesta k souboru	Cesta k souboru zdrojových dat.	<cesta k souboru zdroje>	Yes	kontejner fileName
Typ cesty k souboru	Typ cesty k souboru, který chcete použít.	• Cesta k souboru •Předponu • Cesta ke složce se zástupným znakem, název souboru se zástupným znakem • Seznam souborů	No	•Předponu • wildcardFolderPath, wildcardFileName • fileListPath
Rekurzivně	Zpracujte všechny soubory ve vstupní složce a jejích podsložkách rekurzivně nebo jen ty ve vybrané složce. Toto nastavení je zakázáno, pokud je vybraný jeden soubor.	Vybráno nebo zrušení výběru	No	Rekurzivní
Odstranění souborů po dokončení	Soubory ve zdrojovém úložišti dat budou odstraněny hned po přesunutí do cílového úložiště. Odstranění souboru je pro jednotlivé soubory, takže když aktivita kopírování selže, můžete si všimnout, že některé soubory už byly zkopírovány do cíle a odstraněny ze zdroje, zatímco jiné jsou stále ve zdrojovém úložišti.	Vybráno nebo zrušení výběru	No	deleteFilesAfterCompletion
Maximální počet souběžných připojení	Horní limit souběžných připojení vytvořených k úložišti dat během spuštění aktivity Hodnotu zadejte pouze v případech, kdy chcete omezit souběžná připojení.	<maximální počet souběžných připojení>	No	maxConcurrentConnections

Informace o cíli

Název	Popis	Hodnota	Vyžadováno	Vlastnost skriptu JSON
Typ úložiště dat	Typ úložiště dat.	Externí	Yes	/
Připojení	Vaše připojení k cílovému úložišti dat.	<vaše připojení>	Yes	připojení
Cesta k souboru	Cesta k souboru vašich cílových dat.	Cesta k souboru zdroje	Yes	kontejner fileName
Chování kopírování	Definuje chování při kopírování souborů z jednoho systému souborů, jako je úložiště, do druhého (například z jednoho úložiště objektů blob do jiného).	•Žádný • Přidat dynamický obsah • Zploštět hierarchii • Zachovat hierarchii	No	copyBehavior
Maximální počet souběžných připojení	Horní limit souběžných připojení vytvořených k úložišti dat během spuštění aktivity Hodnotu zadejte pouze v případech, kdy chcete omezit souběžná připojení.	<maximální počet souběžných připojení>	No	maxConcurrentConnections
Velikost bloku (MB)	Při zápisu dat do Azure Blob Storage zadejte velikost bloku v MB. Povolená hodnota je mezi 4 MB a 100 MB.	<velikost bloku>	No	blockSizeInMB
Metadata	Nastavte vlastní metadata při kopírování do cíle.	• `$$LASTMODIFIED` •Výraz • Statická hodnota	No	zprostředkovatele identity