Přesun souborů pomocí Azure Data Factory

Článek
05/15/2024

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Aktivita kopírování ADF má integrovanou podporu scénáře přesunu při kopírování binárních souborů mezi úložišti úložiště. Způsob, jak ho povolit, je nastavit "deleteFilesAfterCompletion" jako true v aktivitě kopírování. Aktivita kopírování tak po dokončení úlohy odstraní soubory z úložiště zdrojů dat.

Tento článek popisuje šablonu řešení jako jiný přístup, který využívá flexibilní tok řízení ADF a aktivitu kopírování a aktivitu odstranění k dosažení stejného scénáře. Jeden z běžných scénářů použití této šablony: Soubory se průběžně zahazují do cílové složky zdrojového úložiště. Vytvořením aktivační události plánu může kanál ADF tyto soubory pravidelně přesouvat ze zdroje do cílového úložiště. Kanál ADF dosahuje "přesouvání souborů" tím, že získává soubory z cílové složky, zkopíruje je do jiné složky v cílovém úložišti a pak odstraní stejné soubory z cílové složky ve zdrojovém úložišti.

Poznámka:

Mějte na paměti, že tato šablona je určená k přesouvání souborů místo přesouvání složek. Pokud chcete složku přesunout tak, že změníte datovou sadu tak, aby obsahovala pouze cestu ke složce, a pak pomocí aktivity kopírování a odstranění aktivity odkazovat na stejnou datovou sadu představující složku, musíte být velmi opatrní. Je to proto, že se musíte ujistit, že mezi operací kopírování a odstraněním nebudou do složky přicházet nové soubory. Pokud v tuto chvíli do složky přijdou nové soubory, když vaše aktivita kopírování právě dokončila úlohu kopírování, ale aktivita Odstranění nebyla zhlédnuta, je možné, že aktivita odstranění odstraní tento nově přicházející soubor, který ještě nebyl zkopírován do cíle odstraněním celé složky.

O této šabloně řešení

Tato šablona získá soubory ze zdrojového úložiště založeného na souborech. Pak je přesune do cílového úložiště.

Šablona obsahuje pět aktivit:

GetMetadata získá seznam objektů včetně souborů a podsložek z vaší složky ve zdrojovém úložišti. Objekty se nenačtou rekurzivně.
Filtrujte seznam objektů z aktivity GetMetadata a vyberte pouze soubory.
ForEach získá seznam souborů z aktivity filtru a pak iteruje seznam a předá každý soubor do aktivita Copy a odstranění aktivity.
Zkopírujte jeden soubor ze zdroje do cílového úložiště.
Odstraní stejný soubor ze zdrojového úložiště.

Šablona definuje čtyři parametry:

SourceStore_Location je cesta ke složce zdrojového úložiště, ze kterého chcete přesunout soubory.
SourceStore_Directory je podsložka zdrojového úložiště, ze kterého chcete přesunout soubory.
DestinationStore_Location je cesta ke složce cílového úložiště, kam chcete přesunout soubory.
DestinationStore_Directory je cesta k podsložce cílového úložiště, kam chcete přesunout soubory.

Jak používat tuto šablonu řešení

Přejděte do šablony Přesunout soubory . Vyberte existující připojení nebo vytvořte nové připojení ke zdrojovému úložišti souborů, ze kterého chcete přesunout soubory. Mějte na paměti, že DataSource_Folder a DataSource_File odkazují na stejné připojení ke zdrojovému úložišti souborů.
Vyberte existující připojení nebo vytvořte nové připojení k cílovému úložišti souborů, do kterého chcete přesunout soubory.
Vyberte Použít tuto kartu šablony .
Zobrazí se kanál, jak je znázorněno v následujícím příkladu:
Vyberte Ladit, zadejte parametry a pak vyberte Dokončit. Parametry jsou cesta ke složce, ze které chcete přesunout soubory, a cestu ke složce, do které chcete přesunout soubory.
Prohlédněte si výsledky.