Jak kopírovat data použitím kopírovací aktivity

V kanálovém procesu můžete použít aktivitu kopírování pro přenos dat mezi úložišti dat v cloudu. Po zkopírování dat můžete pomocí dalších aktivit v potrubí transformovat a analyzovat je.

Aktivita kopírování se připojuje ke zdrojům a cílům dat a pak mezi nimi efektivně přesouvá data. Tady je postup, jak služba zpracovává proces kopírování:

1. Připojí se k vašemu zdroji: Vytvoří zabezpečené připojení ke čtení dat ze zdrojového úložiště dat.
2. Zpracovává data: Zpracovává serializaci/deserializaci, kompresi/dekompresi, mapování sloupců a převody datových typů na základě vaší konfigurace.
3. Přenos do cílového úložiště: Přenáší zpracovaná data do vašeho cílového úložiště dat.
4. Poskytuje monitorování: Sleduje operaci kopírování a poskytuje podrobné protokoly a metriky pro řešení potíží a optimalizaci.

Tip

Pokud potřebujete jenom zkopírovat data a nepotřebujete transformace, může být pro vás úloha kopírování lepší volbou. Úlohy kopírování poskytují jednodušší způsob přesunu dat, aniž by bylo nutné vytvořit celý pipeline. Viz: Přehled úloh kopírování nebo použití naší rozhodovací tabulky k porovnání aktivity kopírování a úlohy kopírování.

Prerequisites

Abyste mohli začít, musíte splnit tyto požadavky:

• Účet tenanta Fabric s aktivním předplatným. Vytvořte si zdarma účet.
• Pracovní prostor s podporou Fabric. Vytvořte pracovní prostor.

Přidání aktivity kopírování pomocí pomocníka pro kopírování

Podle těchto kroků nastavte aktivitu kopírování pomocí pomocníka pro kopírování.

Začínáme s pomocníkem pro kopírování

1. Otevřete existující kanál nebo vytvořte nový kanál.

2. Začněte tím, že na plátně vyberete Kopírovat data a otevřete Copy Assistant nástroj. Nebo v rozevíracím seznamu Kopírovat data na záložce Aktivity na pásu karet vyberte Použít pomocníka.

   

Konfigurace zdroje

1. Vyberte typ zdroje dat z kategorie. Použijte Azure Blob Storage jako příklad. Vyberte Azure Blob Storage.

   

2. Výběrem možnosti Vytvořit nové připojení vytvořte připojení ke zdroji dat.

   

   Po výběru možnosti Vytvořit nové připojení vyplňte požadované informace o připojení a pak vyberte Další. Podrobnosti o vytvoření připojení pro každý typ zdroje dat najdete v jednotlivých článcích o konektoru.

   Pokud už máte připojení, můžete vybrat Existující připojení a v rozevíracím seznamu vybrat připojení.

   

3. Zvolte soubor nebo složku, které chcete zkopírovat v tomto kroku konfigurace zdroje, a pak vyberte Další.

   

Konfigurace cíle

1. Vyberte typ zdroje dat z kategorie. Jako příklad použijete Azure Blob Storage. Můžete vytvořit nové připojení, které odkazuje na nový účet služby Azure Blob Storage, a to pomocí kroků v předchozí části, nebo použít existující připojení z rozevíracího seznamu připojení. Pro každé vybrané připojení jsou k dispozici možnosti Test připojení a Upravit .

   

2. Nakonfigurujte a mapujte svá zdrojová data do cílového umístění. Potom výběrem možnosti Další dokončete konfiguraci cíle.

   

   

   Note

   Ve stejné aktivitě Copy můžete použít jenom jednu místní datovou bránu. Pokud jsou zdroj i cíl dat lokální datové zdroje, musí používat stejnou bránu. Pokud chcete přesouvat data mezi místními zdroji dat s různými bránami, musíte použít první bránu ke zkopírování do zprostředkujícího cloudového zdroje v jedné aktivitě kopírování. Poté můžete pomocí jiné aktivity Copy zkopírovat jej ze zprostředkujícího cloudového zdroje pomocí druhého rozhraní gateway.

Zkontrolujte a vytvořte svou kopírovací činnost

1. Zkontrolujte nastavení aktivity kopírování v předchozích krocích a kliknutím na TLAČÍTKO OK dokončete. Nebo se můžete vrátit k předchozím krokům a upravit nastavení v případě potřeby v nástroji.

   

Po dokončení se aktivita kopírování přidá na plátno potrubí. Při výběru této aktivity kopírování jsou všechna nastavení, včetně upřesňujících, dostupná na záložkách.

Teď můžete buď uložit svůj datový tok pomocí této samotné kopírovací aktivity, nebo pokračovat v jeho návrhu.

Přidejte aktivitu kopírování přímo

Pokud chcete aktivitu kopírování přidat přímo, postupujte podle těchto kroků.

Přidání aktivity kopírování

1. Otevřete existující kanál nebo vytvořte nový kanál.

2. Aktivitu kopírování můžete přidat buď výběrem Přidat aktivitu kanálu>Aktivita kopírování, nebo výběrem Kopírovat data>Přidat na plátno na kartě Aktivity.

   

Nastavte si obecná nastavení v záložce Obecné

Informace o konfiguraci obecných nastavení najdete v tématu Obecné.

Nastavte svůj zdroj v záložce Zdroj

1. V části Připojení vyberte existující připojení nebo vyberte Další a vytvořte nové připojení.

   

   1. V automaticky otevíraném okně zvolte typ zdroje dat. Jako příklad použijete Azure SQL Database. Vyberte Azure SQL Database a pak vyberte Pokračovat.

      

   2. Přejde na stránku pro vytvoření připojení. Na panelu vyplňte požadované informace o připojení a pak vyberte Vytvořit. Podrobnosti o vytvoření připojení pro každý typ zdroje dat najdete v jednotlivých článcích o konektoru.

      

   3. Po vytvoření připojení se vrátíte na stránku pipeline. Potom vyberte Aktualizovat a z rozevíracího seznamu získáte připojení, které jste vytvořili. Existující připojení ke službě Azure SQL Database můžete také zvolit přímo v rozevíracím seznamu, pokud jste ho už vytvořili. Pro každé vybrané připojení jsou k dispozici možnosti Test připojení a Upravit . Pak vyberte Azure SQL Database v typu připojení .

2. Zadejte tabulku, která se má zkopírovat. Výběrem možnosti Náhled dat zobrazíte náhled zdrojové tabulky. Ke čtení dat ze zdroje můžete použít také dotaz a uloženou proceduru.

3. Rozbalte Pokročilá nastavení pro další pokročilé možnosti, jako je vypršení časového limitu dotazu nebo dělení. (Upřesňující nastavení se liší podle konektoru.)

Nastavte si cílovou stanici v záložce Cíl

1. V části Připojení vyberte existující připojení nebo vyberte Další a vytvořte nové připojení. Může to být interní úložiště dat první třídy z vašeho pracovního prostoru, například Lakehouse, nebo externí úložiště dat. V tomto příkladu používáme Lakehouse.

2. Po vytvoření připojení se vrátíte na stránku pipeline. Potom vyberte Aktualizovat a z rozevíracího seznamu získáte připojení, které jste vytvořili. Existující připojení Lakehouse můžete také zvolit přímo v rozevíracím seznamu, pokud jste ho už vytvořili.

3. Zadejte tabulku nebo nastavte cestu k souboru pro definování souboru nebo složky jako cíle. Tady vyberte Tabulky a zadejte tabulku pro zápis dat.

4. Rozbalením Upřesnit zobrazíte pokročilá nastavení, například maximální počet řádků na soubor nebo akci tabulky. (Upřesňující nastavení se liší podle konektoru.)

Teď můžete buď uložit svůj datový tok s touto aktivitou kopírování, nebo pokračovat v jeho návrhu.

Nastavte si mapování v záložce Mapování

Pokud konektor, který používáte, podporuje mapování, můžete přejít na kartu Mapování a nakonfigurovat mapování.

1. Vyberte Importovat schémata pro import schématu dat.

   

2. Zobrazí se automatické mapování. Zadejte sloupec Zdroj a sloupec Cíl. Pokud v cíli vytvoříte novou tabulku, můžete zde přizpůsobit název cílového sloupce. Pokud chcete zapisovat data do existující cílové tabulky, nemůžete změnit název existujícího cílového sloupce. Můžete také zobrazit typ zdrojového a cílového sloupce.

   

Můžete také vybrat + Nové mapování přidat nové mapování, výběrem možnosti Vymazat vymazat všechna nastavení mapování a výběrem možnosti Obnovit obnovit všechny sloupce zdroj mapování.

Mapování datových typů

Aktivita kopírování v kanálech a úloha kopírování provádí mapování zdrojových typů do cílových typů pomocí následujícího toku:

1. Převod z nativních zdrojových datových typů na dočasné datové typy používané službou Fabric Data Factory
2. Automaticky převést dočasný datový typ podle potřeby tak, aby odpovídal odpovídajícím cílovým typům.
3. Převod z dočasných datových typů na cílové nativní datové typy

Aktivita kopírování v kanálech a úloze kopírování aktuálně podporují následující mezilehlé datové typy: Boolean, Byte, Byte array, Datetime, DatetimeOffset, Decimal, Double, GUID, Int16, Int32, Int64, SByte, Single, String, Timespan, UInt16, UInt32 a UInt64.

Mezi dočasnými typy ze zdroje do cíle jsou podporovány následující převody datových typů.

Zdroj\Cíl	logický	Bajtové pole	Datum a čas	Desetinné číslo	Pohyblivá řádová čárka	GUID	Celočíselný datový typ	String	TimeSpan
logický	✓			✓			✓	✓
Bajtové pole		✓						✓
Datum a čas			✓					✓
Desetinné číslo	✓			✓			✓	✓
Pohyblivá řádová čárka	✓			✓			✓	✓
GUID						✓		✓
Celočíselný datový typ	✓			✓			✓	✓
String	✓	✓	✓	✓		✓	✓	✓	✓
TimeSpan								✓	✓

Datum/čas obsahuje DateTime, DateTimeOffset, datum a čas.

(2) Plovoucí desetinná čárka zahrnuje Single a Double.

(3) Celé číslo zahrnuje SByte, Byte, Int16, UInt16, Int32, UInt32, Int64 a UInt64.

Podrobné převody datových typů pro konkrétní konektor najdete v článku o konfiguraci aktivity kopírování pro tento konektor, na který se můžete dostat odtud.

Note

Tento převod datového typu je v současné době podporován při kopírování mezi tabulkovými daty. Hierarchické zdroje a cíle nejsou podporovány, což znamená, že mezi zdrojovými a cílovými dočasnými typy neexistuje převod systémového datového typu.

Nastavit si ostatní nastavení v záložce Nastavení

Karta Nastavení obsahuje nastavení výkonu, přípravy atd.

Popis jednotlivých nastavení najdete v následující tabulce.

Setting	Description	Vlastnost skriptu JSON
Optimalizace inteligentní propustnosti	Určete, jak optimalizovat propustnost. Můžete si vybrat z: • Automatický • Standardní • Vyvážená • Maximum Když zvolíte Automaticky, optimální nastavení se dynamicky použije na základě vašeho páru zdroj-cíl a vzoru dat. Propustnost můžete také přizpůsobit a vlastní hodnota může být 4–256, zatímco vyšší hodnota znamená větší zisky.	dataIntegrationUnits
Stupeň paralelismu kopírování	Zadejte stupeň paralelismu, který by načítání dat používalo.	parallelCopies
Adaptivní ladění výkonu (Preview)	Určete, jestli může služba použít optimalizace výkonu a ladění podle vlastní konfigurace.	adaptivní ladění výkonu
Ověření konzistence dat	Pokud nastavíte true pro tuto vlastnost, při kopírování binárních souborů aktivita kopírování zkontroluje velikost souboru, lastModifiedDate a kontrolní součet pro každý binární soubor zkopírovaný ze zdroje do cílového úložiště, aby se zajistila konzistence dat mezi zdrojem a cílovým úložištěm. Při kopírování tabulkových dat aktivita kopírování zkontroluje celkový počet řádků po dokončení úlohy a zajistí, aby celkový počet řádků přečtených ze zdroje byl stejný jako počet řádků zkopírovaných do cíle a počet nekompatibilních řádků, které byly vynechány. Mějte na paměti, že na výkon kopírování má vliv povolení této možnosti.	validateDataConsistency
Odolnost proti chybám	Když tuto možnost vyberete, můžete některé chyby, které se objeví uprostřed kopírování, ignorovat. Například nekompatibilní řádky mezi zdrojovým a cílovým úložištěm, nebo soubor smazaný během přesunu dat.	• PovolitPřeskočitNekompatibilníŘádek • skipErrorFile:    fileMissing    fileForbidden    invalidFileName
Povolení protokolování	Když vyberete tuto možnost, můžete protokolovat zkopírované soubory, přeskočeny soubory a řádky.	/
Povolení přípravy	Určete, zda se mají kopírovat data prostřednictvím dočasného přípravného úložiště. Povolte testování jen pro užitečné scénáře.	enableStaging
Pro pracovní prostor
Workspace	Určete, že se má použít předdefinované přípravné úložiště. Ujistěte se, že má uživatel, který jako poslední upravoval kanál, přiřazenou alespoň roli "Přispěvatel" v pracovním prostoru.	/
Pro externí
Připojení k testovacímu účtu	Zadejte připojení služby Azure Blob Storage nebo Azure Data Lake Storage Gen2, která odkazuje na instanci služby Storage, kterou používáte jako dočasné pracovní úložiště. Pokud ho nemáte, vytvořte přípravné připojení.	připojení (v části externalReferences)
Cesta k úložišti	Zadejte cestu, kterou chcete obsahovat fázovaná data. Pokud cestu nezadáte, služba vytvoří kontejner pro ukládání dočasných dat. Zadejte cestu pouze v případě, že používáte Storage se sdíleným přístupovým podpisem nebo potřebujete, aby dočasná data byla v určitém umístění.	cesta
Povolení komprese	Určuje, jestli se mají data před zkopírováním do cíle komprimovat. Toto nastavení snižuje objem přenášených dat.	enableCompression
Preserve	Určete, jestli se mají během kopírování dat zachovat metadata nebo seznamy ACL.	preserve

Note

Pokud použijete fázovanou kopii s povolenou kompresí, ověřování instančního objektu pro přípravné připojení objektů blob se nepodporuje.

Note

Pracovní prostor vyprší po 60 minutách. U dlouhotrvajících úloh se doporučuje použít externí úložiště pro přípravu.

Konfigurace parametrů v aktivitě kopírování

Parametry lze použít k řízení chování kanálu a jeho aktivit. Pomocí možnosti Přidat dynamický obsah můžete zadat parametry vlastností aktivity kopírování. Pojďme jako příklad určit Lakehouse nebo Data Warehouse, abychom viděli, jak ho používat.

1. Ve zdroji nebo cíli vyberte v rozevíracím seznamu Připojení možnost Použít dynamický obsah.

2. V automaticky otevírané nabídce Přidat dynamický obsah na kartě Parametry vyberte +.

   

3. Zadejte název parametru a nastavte mu výchozí hodnotu, pokud chcete, nebo zadejte hodnotu parametru, když se pipeline spustí.

   

   Hodnota parametru by měla být ID připojení Lakehouse/Data Warehouse. Pokud ho chcete získat, otevřete spravovat připojení a brány, zvolte připojení Lakehouse/Data Warehouse, které chcete použít, a otevřete Nastavení , abyste získali ID připojení. Pokud chcete vytvořit nové připojení, můžete na této stránce vybrat + Nový nebo přejít na datovou stránku prostřednictvím rozevíracího seznamu Připojení .

4. Výběrem možnosti Uložit se vrátíte do podokna Přidat dynamický obsah . Pak vyberte parametr, aby se zobrazil v poli výrazu. Pak vyberte OK. Vrátíte se na stránku potrubí a uvidíte, že se výraz parametru zadává po Připojení.

   

5. Uveďte ID vašeho jezerního domu nebo skladu. Pro identifikaci navštivte svůj domek u jezera nebo sklad ve svém pracovním prostoru. ID se zobrazí v adrese URL za /lakehouses/ nebo /datawarehouses/.

   • ID lakehousu:

     

   • ID skladu:

     

6. Zadejte připojovací řetězec SQL pro váš datový sklad.

Související obsah

• Přehled konektorů
• Jak monitorovat spuštění potrubí