Kopírování dat do systému souborů nebo z systému souborů pomocí Azure Data Factory nebo Azure Synapse Analytics

VZTAHUJE SE NA: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory v Microsoft Fabric je nová generace Azure Data Factory s jednodušší architekturou, integrovanou AI a novými funkcemi. Pokud s integrací dat začínáte, začněte Fabric Data Factory. Stávající úlohy ADF lze upgradovat na Fabric pro přístup k novým funkcím v oblastech datové vědy, analýz v reálném čase a vytváření sestav.

Tento článek popisuje, jak kopírovat data do systému souborů a ze systému souborů. Další informace najdete v úvodním článku Azure Data Factory nebo Azure Synapse Analytics.

Podporované funkce

Tento konektor systému souborů je podporovaný pro následující funkce:

Podporované funkce IR
aktivita Copy (zdroj/jímka) (1) (2)
Vyhledávací aktivita (1) (2)
Aktivita GetMetadata (1) (2)
Odstranit aktivitu (1) (2)

(1) Azure Integration Runtime (2) Lokálně hostované Integration Runtime

Konkrétně tento konektor systému souborů podporuje:

  • Kopírování souborů z/do sdílené síťové složky. Pokud chcete použít sdílenou složku na Linuxu, nainstalujte Samba na váš linuxový server.
  • Kopírování souborů pomocí základního ověřování
  • Kopírování souborů tak, jak je, nebo parsování nebo generování souborů s podporovanými formáty souborů a komprimačními kodeky.

Požadavky

Pokud se vaše úložiště dat nachází uvnitř místní sítě, Azure virtuální sítě, nebo Amazon Virtual Private Cloud, musíte pro připojení nakonfigurovat self-hosted Integration Runtime.

Pokud je vaše úložiště dat spravovanou cloudovou datovou službou, můžete použít Azure Integration Runtime. Pokud je přístup omezený na IP adresy schválené v pravidlech brány firewall, můžete do seznamu povolených přidat ip adresy Azure Integration Runtime.

Funkci managed virtual network Integration Runtime můžete také použít v Azure Data Factory pro přístup k místní síti bez nutnosti instalace a konfigurace místního prostředí Integration Runtime.

Další informace o mechanismech zabezpečení sítě a možnostech podporovaných službou Data Factory najdete v tématu Strategie přístupu k datům.

Začínáme

K provedení aktivity kopírování pomocí datového kanálu můžete použít jeden z následujících nástrojů nebo sad SDK:

Vytvoření propojené služby systému souborů pomocí uživatelského rozhraní

Pomocí následujícího postupu vytvořte propojenou službu systému souborů v uživatelském rozhraní portálu Azure.

  1. Přejděte na kartu Spravovat v pracovním prostoru Azure Data Factory nebo Synapse a vyberte Propojené služby a pak vyberte Nový:

  2. Vyhledejte soubor a vyberte konektor systému souborů.

    Snímek obrazovky s konektorem systému souborů

  3. Nakonfigurujte podrobnosti o službě, otestujte připojení a vytvořte novou propojenou službu.

    Snímek obrazovky s konfigurací propojené služby systému souborů

Podrobnosti konfigurace konektoru

Následující části obsahují podrobnosti o vlastnostech, které slouží k definování entit kanálu Data Factory a Synapse specifických pro systém souborů.

Vlastnosti propojené služby

Pro propojenou službu systému souborů jsou podporovány následující vlastnosti:

Vlastnost Popis Povinné
typ Vlastnost typu musí být nastavena na: FileServer. Ano
hostitel Určuje kořenovou cestu ke složce, kterou chcete zkopírovat. Pro speciální znaky v řetězci použijte escape znak "". Vizte ukázky definic propojených služeb a datových sad pro příklady. Ano
userId Zadejte ID uživatele, který má přístup k serveru. Ano
heslo Zadejte heslo pro uživatele (userId). Označte toto pole jako SecureString pro jeho bezpečné uložení, nebo odkazujte na tajemství uložené v Azure Key Vault. Ano
connectVia Integration Runtime pro připojení k úložišti dat. Další informace najdete v části Požadavky . Pokud není zadaný, použije výchozí Azure Integration Runtime. Ne

Ukázková propojená služba a definice datových sad

Scénář "host" v definici propojené služby "folderPath" v definici datové sady
Vzdálená sdílená složka:

Příklady: \\myserver\share\* nebo \\myserver\share\folder\subfolder\*
Ve formátu JSON: \\\\myserver\\share
V uživatelském rozhraní: \\myserver\share
Ve formátu JSON: .\\ nebo folder\\subfolder
V uživatelském rozhraní: .\ nebo folder\subfolder

Poznámka:

Při vytváření prostřednictvím uživatelského rozhraní nemusíte zadávat dvojité zpětné lomítko (\\) pro úprch jako v JSON; stačí zadat jen jednoduché zpětné lomítko.

Poznámka:

Kopírování souborů z místního počítače se v Azure Integration Runtime nepodporuje.
Pokud chcete povolit přístup k místnímu počítači v místním prostředí Integration Runtime, přejděte na příkazový řádek odsud. Ve výchozím nastavení je zakázaná.

Příklad:

{
    "name": "FileLinkedService",
    "properties": {
        "type": "FileServer",
        "typeProperties": {
            "host": "<host>",
            "userId": "<domain>\\<user>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Vlastnosti datové sady

Úplný seznam oddílů a vlastností dostupných pro definování datových sad najdete v článku Datové sady .

Azure Data Factory podporuje následující formáty souborů. Informace o nastaveních založených na formátu najdete v jednotlivých článcích.

V nastavení v datové sadě založené na formátu jsou podporovány následující vlastnosti systému souborů location :

Vlastnost Popis Povinné
typ Vlastnost location typu v datové sadě musí být nastavena na FileServerLocation. Ano
folderPath Cesta ke složce. Pokud chcete k filtrování složky použít zástupný znak, přeskočte toto nastavení a zadejte v nastavení zdroje aktivity. Pokud chcete složku zpřístupnit ke sdílení, musíte ve svém prostředí Windows nebo Linuxu nastavit umístění sdílené složky. Ne
název souboru Název souboru pod zadanou cestou složky (folderPath). Pokud chcete k filtrování souborů použít zástupný znak, přeskočte toto nastavení a zadejte v nastavení zdroje aktivity. Ne

Příklad:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<File system linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "FileServerLocation",
                "folderPath": "root/folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Vlastnosti kopírovací aktivity

Úplný seznam oddílů a vlastností dostupných pro definování aktivit najdete v článku Pipelines . Tato část obsahuje seznam vlastností podporovaných zdrojem systému souborů a jímkou.

Systém souborů jako zdroj

Azure Data Factory podporuje následující formáty souborů. Informace o nastaveních založených na formátu najdete v jednotlivých článcích.

V nastavení ve zdroji kopírování založeném na formátu jsou podporovány následující vlastnosti systému souborů storeSettings :

Vlastnost Popis Povinné
typ Vlastnost typu v části storeSettings Musí být nastavena na FileServerReadSettings. Ano
Vyhledejte soubory, které chcete zkopírovat:
MOŽNOST 1: Statická cesta
Zkopírujte z dané složky nebo cesty k souboru zadané v datové sadě. Pokud chcete zkopírovat všechny soubory ze složky, dále zadejte wildcardFileName jako *.
MOŽNOST 2: Filtr na straně serveru
- fileFilter
Nativní filtr na straně souborového serveru, který poskytuje lepší výkon než filtr se zástupnými znaky OPTION 3. Slouží * k nalezení shody s nulovými nebo více znaky a ? pro shodu s nulovým nebo jedním znakem. Přečtěte si další informace o syntaxi a poznámkách z poznámek v této části. Ne
MOŽNOST 3: Filtr na straně klienta
– zástupný znakFolderPath
Cesta ke složce se zástupnými znaky pro filtrování zdrojových složek. K tomuto filtru dojde v rámci služby, která vytvoří výčet složek nebo souborů pod danou cestou a použije filtr se zástupnými čísly.
Povolené zástupné znaky jsou: * (odpovídá nule nebo více znakům) a ? (odpovídá nule nebo jednomu znaku); použijte ^ pro únik, pokud skutečný název složky obsahuje zástupný znak nebo tento escape znak uvnitř.
Další příklady najdete v příkladech filtru složek a souborů.
Ne
MOŽNOST 3: Filtr na straně klienta
- zástupnýSouborovýNázev
Název souboru se zástupnými znaky v dané složcePath/wildcardFolderPath pro filtrování zdrojových souborů. Takový filtr probíhá ve službě, který vyčíslí soubory pod danou cestou a pak použije filtr se zástupnými čísly.
Povolené zástupné znaky jsou: * (odpovídá nule nebo více znakům) a ? (odpovídá nule nebo jednomu znaku). Použijte ^ pro únik, pokud váš skutečný název souboru obsahuje zástupný znak nebo tento escape znak.
Další příklady najdete v příkladech filtru složek a souborů.
Ano
MOŽNOST 3: seznam souborů
- fileListPath
Označuje, že chcete zkopírovat danou sadu souborů. Přejděte na textový soubor, který obsahuje seznam souborů, které chcete kopírovat, jeden soubor na řádek, což je relativní cesta k cestě nakonfigurované v datové sadě.
Při použití této možnosti nezadávejte v datové sadě název souboru. Další příklady najdete v příkladech seznamu souborů.
Ne
Další nastavení:
rekurzivní Určuje, zda se data čtou rekurzivně z podsložek nebo pouze ze zadané složky. Pokud je rekurzivní nastavena na hodnotu true a jímka je úložiště založené na souborech, prázdná složka nebo podsložka se v jímce nezkopíruje ani nevytvoří.
Povolené hodnoty jsou true (výchozí) a false.
Tato vlastnost se nepoužije při konfiguraci fileListPath.
Ne
smazatSouboryPoDokončení Určuje, jestli se binární soubory po úspěšném přesunutí do cílového úložiště odstraní ze zdrojového úložiště. Odstranění souboru je na jeden soubor. To znamená, že když aktivita selže, uvidíte některé soubory, které jsou už zkopírované do cíle a odstraněny ze zdroje, zatímco ostatní zůstávají ve zdrojovém úložišti.
Tato vlastnost je platná pouze ve scénáři kopírování binárních souborů. Výchozí hodnota: false.
Ne
upravenéDatumČasZačátek Filtr souborů na základě atributu: Naposledy změněno.
Soubory jsou vybrány, pokud je jejich čas poslední změny větší nebo roven modifiedDatetimeStart a menší než modifiedDatetimeEnd. Čas je použit ve časovém pásmu UTC ve formátu RRRR-MM-DDTHH:mm:ssZ.
Vlastnosti můžou mít hodnotu NULL, což znamená, že u datové sady není použit žádný filtr atributů souboru. Pokud modifiedDatetimeStart má hodnotu datetime, ale modifiedDatetimeEnd má hodnotu NULL, znamená to, že jsou vybrané soubory, jejichž atribut poslední změny je větší nebo roven hodnotě datetime. Pokud modifiedDatetimeEnd má hodnotu datetime, ale modifiedDatetimeStart má hodnotu NULL, znamená to, že soubory, jejichž atribut poslední změny je menší než hodnota datetime, jsou vybrány.
Tato vlastnost se nepoužije při konfiguraci fileListPath.
Ne
upravenéDatumČasKonec Stejné jako modifiedDateTimeStart. Ne
povolit zjišťování oddílů U souborů, které jsou rozdělené na oddíly, určete, zda se mají analyzovat oddíly z cesty k souboru a přidat je jako další zdrojové sloupce.
Povolené hodnoty jsou false (výchozí) a true.
Ne
partitionRootPath Pokud je povolené vyhledávání oddílů, zadejte absolutní kořenovou cestu pro čtení oddílů složek jako datové sloupce.

Pokud není specifikováno, ve výchozím nastavení
– Při použití cesty k souboru v datové sadě nebo seznamu souborů ve zdroji je kořenová cesta oddílu cesta nakonfigurovaná v datové sadě.
– Pokud používáte filtr složky se zástupnými znaky, je kořenová cesta oddílu podcesta před prvním zástupným znakem.

Předpokládejme například, že cestu v datové sadě nakonfigurujete jako "root/folder/year=2020/month=08/day=27":
– Pokud zadáte kořenovou cestu oddílu jako "root/folder/year=2020", aktivita kopírování generuje dva další sloupce month a day s hodnotou 08 a 27 kromě sloupců uvnitř souborů.
– Pokud není specifikována kořenová cesta oddílu, nevygeneruje se žádný další sloupec.
Ne
maxConcurrentConnections Horní limit souběžných připojení vytvořených k úložišti dat během spuštění aktivity. Zadejte hodnotu pouze v případech, kdy chcete omezit souběžná připojení. Ne

Příklad:

"activities":[
    {
        "name": "CopyFromFileSystem",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "FileServerReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Systém souborů jako jímka

Azure Data Factory podporuje následující formáty souborů. Informace o nastaveních založených na formátu najdete v jednotlivých článcích.

Poznámka:

Možnost MergeFilescopyBehavior je dostupná jenom v kanálech Azure Data Factory a ne v kanálech Synapse Analytics.

Následující vlastnosti jsou podporovány pro systém souborů v rámci nastavení storeSettings v kontextu kopírování na základě formátu:

Vlastnost Popis Povinné
typ Vlastnost typu v části storeSettings Musí být nastavena na FileServerWriteSettings. Ano
kopírování chování Definuje chování kopírování, pokud je zdrojem soubory ze souborového úložiště dat.

Povolené hodnoty jsou následující:
- PreserveHierarchy (výchozí):: Zachová hierarchii souborů v cílové složce. Relativní cesta zdrojového souboru ke zdrojové složce je shodná s relativní cestou cílového souboru k cílové složce.
- FlattenHierarchy: Všechny soubory ze zdrojové složky jsou na první úrovni cílové složky. Cílové soubory mají automaticky vygenerované názvy.
- MergeFiles: Sloučí všechny soubory ze zdrojové složky do jednoho souboru. Pokud je zadaný název souboru, je zadaným názvem sloučený soubor. V opačném případě se jedná o automaticky vygenerovaný název souboru.
Ne
maxConcurrentConnections Horní limit souběžných připojení vytvořených k úložišti dat během spuštění aktivity. Zadejte hodnotu pouze v případech, kdy chcete omezit souběžná připojení. Ne

Příklad:

"activities":[
    {
        "name": "CopyToFileSystem",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings":{
                    "type": "FileServerWriteSettings",
                    "copyBehavior": "PreserveHierarchy"
                }
            }
        }
    }
]

Příklady filtrů složek a souborů

Tato část popisuje výsledné chování cesty ke složce a názvu souboru pomocí filtrů zástupných znaků.

folderPath název souboru rekurzivní Struktura zdrojové složky a výsledek filtru (soubory uvedené tučně jsou načteny)
Folder* (prázdné, použijte výchozí) nepravdivé FolderA
     File1.csv
     File2.json
    Podsložka 1
        File3.csv
        File4.json
        File5.csv
AnotherFolderB
    File6.csv
Folder* (prázdné, použijte výchozí) pravda FolderA
     File1.csv
     File2.json
    Podsložka 1
         File3.csv
         File4.json
         File5.csv
AnotherFolderB
    File6.csv
Folder* *.csv nepravdivé FolderA
     File1.csv
    File2.json
    Podsložka 1
        File3.csv
        File4.json
        File5.csv
AnotherFolderB
    File6.csv
Folder* *.csv pravda FolderA
     File1.csv
    File2.json
    Podsložka 1
         File3.csv
        File4.json
         File5.csv
AnotherFolderB
    File6.csv

Příklady seznamu souborů

Tato část popisuje výsledné chování použití cesty k seznamu souborů ve zdroji aktivity kopírování.

Za předpokladu, že máte následující strukturu zdrojové složky a chcete zkopírovat soubory tučně:

Ukázková zdrojová struktura Obsah souboru FileListToCopy.txt Konfigurace kanálu
kořen
    FolderA
         File1.csv
        File2.json
        Podsložka 1
             File3.csv
            File4.json
             File5.csv
    Metadata
        SeznamSouborůKeKopírování.txt
File1.csv
Podsložka1/Soubor3.csv
Podsložka1/Soubor5.csv
V datové sadě:
- Cesta ke složce: root/FolderA

Ve zdroji pro kopírovací aktivitu:
- Cesta k seznamu souborů: root/Metadata/FileListToCopy.txt

Cesta k seznamu souborů odkazuje na textový soubor ve stejném úložišti dat. Obsahuje seznam souborů, které chcete kopírovat. Každý řádek obsahuje relativní cestu k souboru na základě kořenové cesty nakonfigurované v datové sadě.

rekurzivní a copyBehavior – příklady

Tato část popisuje výsledné chování operace kopírování pro různé kombinace rekurzivních a copyBehavior hodnot.

rekurzivní kopírování chování Struktura zdrojových složek Výsledný cíl
pravda zachovat hierarchii Složka 1
    Soubor 1
    Soubor 2
    Podsložka 1
        Soubor 3
        Soubor 4
        Soubor 5
Cílová složka Folder1 se vytvoří se stejnou strukturou jako zdroj:

Složka 1
    Soubor 1
    Soubor 2
    Podsložka 1
        Soubor 3
        Soubor 4
        Soubor 5.
pravda flattenHierarchy Složka 1
    Soubor 1
    Soubor 2
    Podsložka 1
        Soubor 3
        Soubor 4
        Soubor 5
Cílová složka1 se vytvoří s následující strukturou:

Složka 1
    automaticky vygenerovaný název souboru 1
    automaticky vygenerovaný název souboru 2
    automaticky vygenerovaný název souboru 3
    automaticky vygenerovaný název souboru 4
    automaticky vygenerovaný název souboru 5
pravda Sloučit soubory Složka 1
    Soubor 1
    Soubor 2
    Podsložka 1
        Soubor 3
        Soubor 4
        Soubor 5
Cílová složka1 se vytvoří s následující strukturou:

Složka 1
    File1 + File2 + File3 + File4 + Soubor 5 obsah jsou sloučeny do jednoho souboru s automaticky vygenerovaným názvem souboru.
nepravdivé zachovat hierarchii Složka 1
    Soubor 1
    Soubor 2
    Podsložka 1
        Soubor 3
        Soubor 4
        Soubor 5
Cílová složka Folder1 se vytvoří s následující strukturou.

Složka 1
    Soubor 1
    Soubor 2

Podsložka1 s File3, File4 a File5 není zpracována.
nepravdivé flattenHierarchy Složka 1
    Soubor 1
    Soubor 2
    Podsložka 1
        Soubor 3
        Soubor 4
        Soubor 5
Cílová složka Folder1 se vytvoří s následující strukturou.

Složka 1
    automaticky vygenerovaný název souboru 1
    automaticky vygenerovaný název souboru 2

Subfolder1 obsahující File3, File4 a File5 není zpracován.
nepravdivé Sloučit soubory Složka 1
    Soubor 1
    Soubor 2
    Podsložka 1
        Soubor 3
        Soubor 4
        Soubor 5
Cílová složka Folder1 se vytvoří s následující strukturou.

Složka 1
    Obsah File1 + File2 se sloučí do jednoho souboru s automaticky vygenerovaným názvem souboru. automaticky vygenerovaný název souboru 1

Podsložka1 s File3, File4 a File5 není zpracována.

Vlastnosti aktivity vyhledávání

Podrobnosti o vlastnostech najdete v aktivitě Lookup activity.

Vlastnosti aktivity GetMetadata

Podrobnosti o vlastnostech najdete v aktivitě GetMetadata.

Odstranění vlastností aktivity

Pokud chcete zjistit podrobnosti o vlastnostech, zkontrolujte Odstranit aktivitu.

Dřívější modely

Poznámka:

Následující modely jsou stále podporovány, protože je to kvůli zpětné kompatibilitě. Doporučujeme použít nový model uvedený v předchozích částech a uživatelské rozhraní pro vytváření obsahu se přepnulo na generování nového modelu.

Starší model datové sady

Vlastnost Popis Povinné
typ Vlastnost typu datové sady musí být nastavená na: FileShare Ano
folderPath Cesta ke složce Podporuje se filtr zástupných znaků. Povolené zástupné znaky jsou: * (odpovídá nule nebo více znakům) a ? (odpovídá nule nebo jednomu znaku); použijte ^ pro únik, pokud skutečný název složky obsahuje zástupný znak nebo tento escape znak uvnitř.

Příklady: rootfolder/podsložka/, viz více příkladů v definicích propojených služeb a datových sad a příkladech filtrů složek a souborů.
Ne
název souboru Filtr názvů nebo zástupných znaků pro soubory v zadané cestě folderPath. Pokud pro tuto vlastnost nezadáte hodnotu, datová sada odkazuje na všechny soubory ve složce.

Pro filtr jsou povolené zástupné znaky: * (odpovídá nule nebo více znaků) a ? (odpovídá nule nebo jednomu znaku).
– Příklad 1: "fileName": "*.csv"
– Příklad 2: "fileName": "???20180427.txt"
Použijte ^ k úniku, pokud váš skutečný název souboru obsahuje zástupný znak nebo tento únikový znak uvnitř.

Pokud pro výstupní datovou sadu není specifikován název fileName a v cíli aktivity není uvedena vlastnost preserveHierarchy, aktivita kopírování automaticky vygeneruje název souboru s následujícím vzorem: "Data.[GUID ID spuštění aktivity].[GUID, pokud FlattenHierarchy].[formát, pokud je nakonfigurovaný].[komprese, pokud je nakonfigurovaná]", například "Data.0a405f8a-93ff-4c6f-b3be-f69616f1df7a.txt.gz"; pokud kopírujete z tabulkového zdroje pomocí názvu tabulky místo dotazu, vzor názvů je "[název tabulky].[formát].[komprese, pokud je nakonfigurována]", například "MyTable.csv".
Ne
upravenéDatumČasZačátek Filtr souborů na základě atributu: Naposledy změněno. Soubory jsou vybrány, pokud je jejich čas poslední změny větší nebo roven modifiedDatetimeStart a menší než modifiedDatetimeEnd. Čas je použit ve časovém pásmu UTC ve formátu RRRR-MM-DDTHH:mm:ssZ.

Uvědomte si, že celkový výkon přesunu dat je ovlivněn povolením tohoto nastavení, když chcete filtrovat soubory z velkého množství souborů.

Vlastnosti můžou mít hodnotu NULL, což znamená, že u datové sady není použit žádný filtr atributů souboru. Pokud modifiedDatetimeStart má hodnotu datetime, ale modifiedDatetimeEnd má hodnotu NULL, znamená to, že jsou vybrané soubory, jejichž atribut poslední změny je větší nebo roven hodnotě datetime. Pokud modifiedDatetimeEnd má hodnotu datetime, ale modifiedDatetimeStart má hodnotu NULL, znamená to, že soubory, jejichž atribut poslední změny je menší než hodnota datetime, jsou vybrány.
Ne
upravenéDatumČasKonec Filtr souborů na základě atributu: Naposledy změněno. Soubory jsou vybrány, pokud je jejich čas poslední změny větší nebo roven modifiedDatetimeStart a menší než modifiedDatetimeEnd. Čas se použije u časového pásma UTC ve formátu "2018-12-01T05:00:00Z".

Uvědomte si, že celkový výkon přesunu dat je ovlivněn povolením tohoto nastavení, když chcete filtrovat soubory z velkého množství souborů.

Vlastnosti můžou mít hodnotu NULL, což znamená, že u datové sady není použit žádný filtr atributů souboru. Pokud modifiedDatetimeStart má hodnotu datetime, ale modifiedDatetimeEnd má hodnotu NULL, znamená to, že jsou vybrané soubory, jejichž atribut poslední změny je větší nebo roven hodnotě datetime. Pokud modifiedDatetimeEnd má hodnotu datetime, ale modifiedDatetimeStart má hodnotu NULL, znamená to, že soubory, jejichž atribut poslední změny je menší než hodnota datetime, jsou vybrány.
Ne
formát Pokud chcete kopírovat soubory tak, jak je mezi úložišti založenými na souborech (binární kopie), přeskočte oddíl formátu v definicích vstupní i výstupní datové sady.

Pokud chcete analyzovat nebo generovat soubory s určitým formátem, podporují se následující typy formátů souborů: TextFormat, JsonFormat, AvroFormat, OrcFormat, ParquetFormat. Nastavte vlastnost typu ve formátu na jednu z těchto hodnot. Další informace najdete v částech Textový formát, Formát JSON, Formát Avro, Formát Orca Formát Parquet.
Ne (pouze pro scénář binárního kopírování)
komprese Zadejte typ a úroveň komprese dat. Další informace naleznete v tématu Podporované formáty souborů a komprimační kodeky.
Podporované typy jsou: GZip, Deflate, BZip2 a ZipDeflate.
Podporované úrovně jsou: Optimální a nejrychlejší.
Ne

Tip

Chcete-li kopírovat všechny soubory ve složce, zadejte pouze folderPath .
Pokud chcete zkopírovat jeden soubor s daným názvem, zadejte folderPath s částí složky a fileName s názvem souboru.
Chcete-li zkopírovat podmnožinu souborů ve složce, zadejte folderPath s částí složky a fileName s filtrem zástupných znaků.

Poznámka:

Pokud jste pro filtr souborů používali vlastnost FileFilter, je stále podporovaná tak, jak je, zatímco se navrhuje používat novou funkci filtru přidanou do souboru fileName.

Příklad:

{
    "name": "FileSystemDataset",
    "properties": {
        "type": "FileShare",
        "linkedServiceName":{
            "referenceName": "<file system linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "folder/subfolder/",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Model zdroje zastaralé aktivity kopírování

Vlastnost Popis Povinné
typ Vlastnost typu zdroje aktivity kopírování musí být nastavena na: FileSystemSource. Ano
rekurzivní Určuje, zda se data čtou rekurzivně z podsložek nebo pouze ze zadané složky. Poznámka: Pokud je rekurzivní nastavená na hodnotu true a jímka je úložiště založené na souborech, prázdná složka nebo podsložka se nezkopírují ani nevytvoří v jímce.
Povolené hodnoty jsou: true (výchozí), false
Ne
maxConcurrentConnections Horní limit souběžných připojení vytvořených k úložišti dat během spuštění aktivity. Zadejte hodnotu pouze v případech, kdy chcete omezit souběžná připojení. Ne

Příklad:

"activities":[
    {
        "name": "CopyFromFileSystem",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<file system input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "FileSystemSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Starší model zásobníku kopírovací aktivity

Vlastnost Popis Povinné
typ Vlastnost typu jímky aktivity kopírování musí být nastavena na: FileSystemSink Ano
kopírování chování Definuje chování kopírování, pokud je zdrojem soubory ze souborového úložiště dat.

Povolené hodnoty jsou následující:
- PreserveHierarchy (výchozí):: Zachovává hierarchii souborů v cílové složce. Relativní cesta zdrojového souboru ke zdrojové složce je shodná s relativní cestou cílového souboru k cílové složce.
- FlattenHierarchy: všechny soubory ze zdrojové složky jsou na první úrovni cílové složky. Názvy cílových souborů se automaticky vygenerují.
- MergeFiles: sloučí všechny soubory ze zdrojové složky do jednoho souboru. Během sloučení se neprovádí odstranění duplicitních záznamů. Pokud je zadán název souboru, sloučený název souboru by byl zadaný název; jinak by se automaticky vygeneroval název souboru.
Ne
maxConcurrentConnections Horní limit souběžných připojení vytvořených k úložišti dat během spuštění aktivity. Zadejte hodnotu pouze v případech, kdy chcete omezit souběžná připojení. Ne

Příklad:

"activities":[
    {
        "name": "CopyToFileSystem",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<file system output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "FileSystemSink",
                "copyBehavior": "PreserveHierarchy"
            }
        }
    }
]

Seznam úložišť dat, která aktivita kopírování podporuje jako zdroje a cíle, najdete v podporovaných úložištích dat.