Přesouvání souborů pomocí Azure Data Factory

VZTAHUJE SE NA: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory v Microsoft Fabric je nová generace Azure Data Factory s jednodušší architekturou, integrovanou AI a novými funkcemi. Pokud s integrací dat začínáte, začněte Fabric Data Factory. Stávající úlohy ADF lze upgradovat na Fabric pro přístup k novým funkcím v oblastech datové vědy, analýz v reálném čase a vytváření sestav.

ADF aktivita kopírování má integrovanou podporu pro scénář přesunu při přenosu binárních souborů mezi úložišti. Způsob, jak ho povolit, je nastavit "deleteFilesAfterCompletion" jako true v aktivitě kopírování. Aktivita kopírování tak po dokončení úlohy odstraní soubory z úložiště zdrojů dat.

Tento článek popisuje šablonu řešení jako jiný přístup, který využívá flexibilní tok řízení ADF a aktivitu kopírování a aktivitu odstranění k dosažení stejného scénáře. Jeden z běžných scénářů použití této šablony: Soubory se průběžně zahazují do cílové složky zdrojového úložiště. Vytvořením časově řízeného spouštěče může potrubí ADF pravidelně přesouvat tyto soubory ze zdroje do cílového umístění. Kanál ADF dosahuje "přesouvání souborů" tím, že získává soubory z cílové složky, zkopíruje je do jiné složky v cílovém úložišti a pak odstraní stejné soubory z cílové složky ve zdrojovém úložišti.

Poznámka:

Mějte na paměti, že tato šablona je určená k přesouvání souborů místo přesouvání složek. Pokud chcete složku přesunout tak, že změníte datovou sadu tak, aby obsahovala pouze cestu ke složce, a pak pomocí aktivity kopírování a odstranění aktivity odkazovat na stejnou datovou sadu představující složku, musíte být velmi opatrní. Je to proto, že se musíte ujistit, že mezi operací kopírování a odstraněním nebudou do složky přicházet nové soubory. Pokud v okamžiku, kdy vaše aktivita kopírování právě dokončila úlohu, ale aktivita odstranění ještě nebyla spuštěna, do složky dorazí nové soubory, je možné, že aktivita odstranění smaže tento nově příchozí soubor, který ještě nebyl zkopírován do cílového umístění tím, že odstraní celou složku.

O této šabloně řešení

Tato šablona získá soubory z vašeho zdrojového úložiště souborů. Pak je přesune do cílového skladu.

Šablona obsahuje pět aktivit:

  • GetMetadata získá seznam objektů včetně souborů a podsložek z vaší složky ve zdrojovém úložišti. Objekty se nebudou načítat rekurzivně.
  • Filtrujte seznam objektů z aktivity GetMetadata a vyberte pouze soubory.
  • ForEach získá seznam souborů z aktivity Filter a potom iteruje tento seznam a předá každý soubor do aktivity Kopírování a aktivity Odstranění.
  • Zkopírujte jeden soubor ze zdroje do cílového úložiště.
  • Odstraní stejný soubor ze zdrojového úložiště.

Šablona definuje čtyři parametry:

  • SourceStore_Location je cesta ke složce zdrojového úložiště, ze kterého chcete přesunout soubory.
  • SourceStore_Directory je podsložka zdrojového úložiště, ze kterého chcete přesunout soubory.
  • DestinationStore_Location je cesta ke složce cílového úložiště, kam chcete přesunout soubory.
  • DestinationStore_Directory je cesta k podsložce cílového úložiště, kam chcete přesunout soubory.

Jak používat tuto šablonu řešení

  1. Přejděte do šablony Přesunout soubory . Vyberte existující připojení nebo vytvořte nové připojení ke zdrojovému úložišti souborů, ze kterého chcete přesunout soubory. Mějte na paměti, že DataSource_Folder a DataSource_File odkazují na stejné připojení ke zdrojovému úložišti souborů.

    Snímek obrazovky znázorňující vytvoření nového připojení ke zdroji

  2. Vyberte existující připojení nebo vytvořte nové připojení k cílovému úložišti souborů, do kterého chcete přesunout soubory.

    Snímek obrazovky znázorňující vytvoření nového připojení k cíli

  3. Vyberte Použít tuto kartu šablony .

  4. Zobrazí se proces, jak je znázorněno v následujícím příkladu:

    Snímek obrazovky znázorňující potrubí

  5. Vyberte Ladit, zadejte parametry a pak vyberte Dokončit. Parametry jsou cesta ke složce, ze které chcete přesunout soubory, a cestu ke složce, do které chcete přesunout soubory.

    Snímek obrazovky ukazující, kde spustit pipeline.

  6. Prohlédněte si výsledky.

    Snímek obrazovky znázorňující výsledek běhu procesu.