Adatok másolása fájlrendszerbe vagy onnan az Azure Data Factory vagy az Azure Synapse Analytics használatával

  • Cikk

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ez a cikk bemutatja, hogyan másolhat adatokat a fájlrendszerbe és a fájlrendszerből. További információért olvassa el az Azure Data Factory vagy az Azure Synapse Analytics bevezető cikkét.

Támogatott képességek

Ez a fájlrendszer-összekötő a következő képességeket támogatja:

Támogatott képességek IR
Copy tevékenység (forrás/fogadó) ① ②
Keresési tevékenység ① ②
GetMetadata-tevékenység ① ②
Tevékenység törlése ① ②

(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul

Ez a fájlrendszer-összekötő a következőket támogatja:

  • Fájlok másolása a hálózati fájlmegosztásból vagy a hálózati fájlmegosztásba. Linux-fájlmegosztás használatához telepítse a Samba-t a Linux-kiszolgálóra.
  • Fájlok másolása Windows-hitelesítéssel.
  • Fájlok másolása a támogatott fájlformátumokkal és tömörítési kodekekkel, illetve fájlok elemzése/generálása.

Előfeltételek

Ha az adattár helyszíni hálózaton, Azure-beli virtuális hálózaton vagy Amazon Virtual Private Cloudon belül található, konfigurálnia kell egy saját üzemeltetésű integrációs modult a csatlakozáshoz.

Ha az adattár felügyelt felhőalapú adatszolgáltatás, használhatja az Azure Integration Runtime-ot. Ha a hozzáférés a tűzfalszabályokban jóváhagyott IP-címekre korlátozódik, hozzáadhat azure integration runtime IP-eket az engedélyezési listához.

Az Azure Data Factory felügyelt virtuális hálózati integrációs moduljával is elérheti a helyszíni hálózatot anélkül, hogy saját üzemeltetésű integrációs modult telepítene és konfigurálna.

A Data Factory által támogatott hálózati biztonsági mechanizmusokkal és lehetőségekkel kapcsolatos további információkért lásd az adathozzáférési stratégiákat.

Első lépések

A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:

Fájlrendszerhez társított szolgáltatás létrehozása felhasználói felületen

Az alábbi lépésekkel hozzon létre egy fájlrendszerhez társított szolgáltatást az Azure Portal felhasználói felületén.

  1. Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd válassza az Új lehetőséget:

  2. Keressen rá a fájlra, és válassza ki a fájlrendszer-összekötőt.

    Screenshot of the File System connector.

  3. Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

    Screenshot of configuration for File System linked service.

Csatlakozás or konfigurációjának részletei

Az alábbi szakaszok a Data Factory és a Synapse-folyamat fájlrendszerre jellemző entitásainak meghatározásához használt tulajdonságok részleteit ismertetik.

Társított szolgáltatás tulajdonságai

A fájlrendszerhez társított szolgáltatás esetében a következő tulajdonságok támogatottak:

Property Leírás Required
típus A típustulajdonságnak a következőnek kell lennie: FileServer. Igen
házigazda Megadja a másolni kívánt mappa gyökér elérési útját. Használja a "" feloldó karaktert a sztring speciális karaktereihez. Példákért tekintse meg a csatolt szolgáltatás- és adatkészletdefiníciókat . Igen
Felhasználói azonosító Adja meg a kiszolgálóhoz hozzáféréssel rendelkező felhasználó azonosítóját. Igen
jelszó Adja meg a felhasználó jelszavát (userId). Jelölje meg ezt a mezőt SecureStringként, hogy biztonságosan tárolja, vagy hivatkozzon az Azure Key Vaultban tárolt titkos kódra. Igen
connectVia Az adattárhoz való csatlakozáshoz használandó integrációs modul . További információ az Előfeltételek szakaszból. Ha nincs megadva, az alapértelmezett Azure Integration Runtime-t használja. Nem

Csatolt szolgáltatás- és adatkészletdefiníciók mintája

Eset "gazdagép" a társított szolgáltatás definíciójában "folderPath" az adathalmaz definíciójában
Távoli megosztott mappa:

Példák: \\myserver\share\* vagy \\myserver\share\folder\subfolder\*		 JSON-ban: \\\\myserver\\share
Felhasználói felületen: \\myserver\share		 JSON-ban: .\\ vagy folder\\subfolder
Felhasználói felületen: .\ vagy folder\subfolder

Megjegyzés:

A felhasználói felületen keresztüli létrehozáskor nem kell dupla fordított perjelet (\\) megadnia ahhoz, hogy a JSON-on keresztülihoz hasonlóan meneküljön, adjon meg egyetlen fordított perjelet.

Megjegyzés:

Az Azure Integration Runtime nem támogatja a fájlok helyi gépről történő másolását.
A helyi géphez való hozzáférés engedélyezéséhez tekintse meg a parancssort a saját üzemeltetésű integrációs modulban. Alapértelmezés szerint le van tiltva.

Példa

{
    "name": "FileLinkedService",
    "properties": {
        "type": "FileServer",
        "typeProperties": {
            "host": "<host>",
            "userId": "<domain>\\<user>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adathalmaz tulajdonságai

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című cikkben találja.

Az Azure Data Factory a következő fájlformátumokat támogatja. A formátumalapú beállításokat az egyes cikkekben találja.

A fájlrendszerhez a következő tulajdonságok támogatottak a formátumalapú adathalmaz beállításai között location :

Property Leírás Required
típus Az adathalmaz típustulajdonságának location FileServerLocation értékre kell állítania. Igen
folderPath A mappa elérési útja. Ha helyettesítő karaktert szeretne használni a mappa szűréséhez, hagyja ki ezt a beállítást, és adja meg a tevékenység forrásbeállításaiban. A fájlmegosztás helyét windowsos vagy linuxos környezetben kell beállítania, hogy elérhetővé tegye a mappát a megosztáshoz. Nem
fileName A fájl neve az adott folderPath mappában. Ha helyettesítő karaktert szeretne használni a fájlok szűréséhez, hagyja ki ezt a beállítást, és adja meg a tevékenység forrásbeállításaiban. Nem

Példa

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<File system linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "FileServerLocation",
                "folderPath": "root/folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Másolási tevékenység tulajdonságai

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című cikkben találja. Ez a szakasz a fájlrendszer forrása és fogadója által támogatott tulajdonságok listáját tartalmazza.

Fájlrendszer forrásként

Az Azure Data Factory a következő fájlformátumokat támogatja. A formátumalapú beállításokat az egyes cikkekben találja.

A fájlrendszer a formátumalapú másolási forrás beállításai között storeSettings az alábbi tulajdonságokat támogatja:

Property Leírás Required
típus Az alatta lévő storeSettings típustulajdonságnak a FileServerRead Gépház értékre kell állítania. Igen
Keresse meg a másolandó fájlokat:
1. LEHETŐSÉG: statikus elérési út
 Másolja ki az adathalmazban megadott mappa/fájl elérési útját. Ha az összes fájlt egy mappából szeretné másolni, adja meg wildcardFileName a következőt *is: .
2. LEHETŐSÉG: kiszolgálóoldali szűrő
- fileFilter		 Fájlkiszolgálóoldali natív szűrő, amely jobb teljesítményt nyújt, mint az OPTION 3 helyettesítő karakter szűrő. Nulla vagy több karakter egyezésére, valamint ? nulla vagy egy karakter egyezésére használható*. További információ az ebben a szakaszban található Megjegyzések szintaxisáról és jegyzeteiről. Nem
3. LEHETŐSÉG: ügyféloldali szűrő
- helyettesítő karakterekFolderPath		 A mappa elérési útja helyettesítő karakterekkel a forrásmappák szűréséhez. Ez a szűrő a szolgáltatáson belül történik, amely számba adja a mappákat/fájlokat az adott elérési út alatt, majd alkalmazza a helyettesítő szűrőt.
Az engedélyezett helyettesítő karakterek a következők: * (nulla vagy több karakternek felel meg) és ? (nulla vagy egyetlen karakternek felel meg); akkor használható ^ a feloldáshoz, ha a mappa tényleges neve helyettesítő karaktert tartalmaz, vagy ez a feloldó karakter található benne.
További példák a mappa- és fájlszűrő példákban.		 Nem
3. LEHETŐSÉG: ügyféloldali szűrő
- wildcardFileName		 A forrásfájlok szűréséhez használt fájlnév helyettesítő karaktereket tartalmaz az adott mappaPath/helyettesítő karaktermappájában. Ez a szűrő a szolgáltatáson belül történik, amely számba adja az adott elérési út alatt lévő fájlokat, majd alkalmazza a helyettesítő szűrőt.
Az engedélyezett helyettesítő karakterek a következők: * (nulla vagy több karakternek felel meg) és ? (nulla vagy egyetlen karakternek felel meg); akkor használható ^ a feloldásra, ha a tényleges fájlnév helyettesítő karaktert tartalmaz, vagy ez a feloldó karakter található benne.
További példák a mappa- és fájlszűrő példákban.		 Igen
3. LEHETŐSÉG: a fájlok listája
- fileListPath		 Egy adott fájlkészlet másolását jelzi. Mutasson egy szövegfájlra, amely tartalmazza a másolandó fájlok listáját, soronként egy fájlt, amely az adathalmazban konfigurált elérési út relatív elérési útja.
Ha ezt a lehetőséget használja, ne adjon meg fájlnevet az adathalmazban. További példák a Fájllista példákban.		 Nem
További beállítások:
Rekurzív Azt jelzi, hogy az adatok rekurzív módon vannak-e beolvasva az almappákból vagy csak a megadott mappából. Ha a rekurzív érték igaz, és a fogadó fájlalapú tároló, a rendszer nem másol vagy hoz létre üres mappát vagy almappát a fogadóban.
Az engedélyezett értékek értéke igaz (alapértelmezett) és hamis.
Ez a tulajdonság nem érvényes a konfiguráláskor fileListPath.		 Nem
deleteFilesAfterCompletion Azt jelzi, hogy a bináris fájlok törölve lesznek-e a forrástárból a céltárolóba való sikeres áthelyezés után. A fájltörlés fájlonként történik, ezért ha a másolási tevékenység meghiúsul, látni fogja, hogy egyes fájlok már át lettek másolva a célhelyre, és törölve lettek a forrásból, míg mások továbbra is a forrástárban maradnak.
Ez a tulajdonság csak bináris fájlok másolási forgatókönyvében érvényes. Az alapértelmezett érték: hamis.		 Nem
modifiedDatetimeStart A fájlok szűrése a következő attribútum alapján történik: Utolsó módosítás.
A fájlok akkor lesznek kijelölve, ha az utolsó módosításuk időpontja nagyobb vagy egyenlő, modifiedDatetimeStart mint modifiedDatetimeEnda . Az idő az UTC időzónára "2018-12-01T05:00:00Z" formátumban lesz alkalmazva.
A tulajdonságok null értékűek lehetnek, ami azt jelenti, hogy az adathalmazra nincs fájlattribútum-szűrő alkalmazva. Ha modifiedDatetimeStart dátum/idő érték van megadva, de modifiedDatetimeEnd NULL, az azt jelenti, hogy azok a fájlok lesznek kiválasztva, amelyek utolsó módosított attribútuma nagyobb vagy egyenlő a datetime értékkel. Ha modifiedDatetimeEnd dátum/idő érték van megadva, de modifiedDatetimeStart NULL értékű, az azt jelenti, hogy a legutóbbi módosított attribútummal rendelkező fájlok kisebbek a dátum/idő értéknél.
Ez a tulajdonság nem érvényes a konfiguráláskor fileListPath.		 Nem
modifiedDatetimeEnd Lásd fentebb. Nem
enablePartitionDiscovery A particionált fájlok esetében adja meg, hogy elemezni szeretné-e a partíciókat a fájl elérési útján, és hozzáadja-e őket további forrásoszlopokként.
Az engedélyezett értékek hamisak (alapértelmezett) és igazak.		 Nem
partitionRootPath Ha a partíciófelderítés engedélyezve van, adja meg az abszolút gyökér elérési utat a particionált mappák adatoszlopként való olvasásához.

Ha nincs megadva, alapértelmezés szerint
– Ha fájlelérési utat használ az adathalmazban vagy a forrásban lévő fájlok listájában, a partíció gyökérútvonala az adathalmazban konfigurált elérési út.
– Helyettesítő karakteres mappaszűrő használata esetén a partíció gyökérútvonala az első helyettesítő karakter előtti alútvonal.

Tegyük fel például, hogy az adathalmaz elérési útját "root/folder/year=2020/month=08/day=27" értékre konfigurálja:
- Ha a partíció gyökér elérési útját "root/folder/year=2020" értékként adja meg, a másolási tevékenység két további oszlopot month hoz létre, és day a fájlokon belüli oszlopok mellett a "08" és a "27" értéket is tartalmazza.
– Ha nincs megadva a partíció gyökérútvonala, a rendszer nem hoz létre további oszlopot.		 Nem
maxConcurrent Csatlakozás ions Az adattárhoz a tevékenység futtatása során létrehozott egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat. Nem

Példa

"activities":[
    {
        "name": "CopyFromFileSystem",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "FileServerReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Fájlrendszer fogadóként

Az Azure Data Factory a következő fájlformátumokat támogatja. A formátumalapú beállításokat az egyes cikkekben találja.

A fájlrendszerhez a következő tulajdonságok támogatottak a formátumalapú másolási fogadó beállításai között storeSettings :

Property Leírás Required
típus Az alatta lévő storeSettings típustulajdonságnak a FileServerWrite Gépház értékre kell állítania. Igen
copyBehavior Meghatározza a másolási viselkedést, ha a forrás fájlalapú adattárból származó fájlok.

Az engedélyezett értékek a következők:
- PreserveHierarchy (alapértelmezett): Megőrzi a fájlhierarchiát a célmappában. A forrásfájl forrásmappához viszonyított elérési útja megegyezik a célfájl célmappához viszonyított elérési útjának elérési útával.
- FlattenHierarchy: A forrásmappából származó összes fájl a célmappa első szintjén található. A célfájlok automatikusan létrehozott névvel rendelkeznek.
- MergeFiles: A forrásmappából származó összes fájlt egyetlen fájlba egyesíti. Ha a fájlnév meg van adva, az egyesített fájlnév a megadott név. Ellenkező esetben ez egy automatikusan létrehozott fájlnév.		 Nem
maxConcurrent Csatlakozás ions Az adattárhoz a tevékenység futtatása során létrehozott egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat. Nem

Példa

"activities":[
    {
        "name": "CopyToFileSystem",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings":{
                    "type": "FileServerWriteSettings",
                    "copyBehavior": "PreserveHierarchy"
                }
            }
        }
    }
]

Mappa- és fájlszűrő példák

Ez a szakasz a mappa elérési útjának és a fájlnévnek helyettesítő karaktereket tartalmazó viselkedését ismerteti.

folderPath fileName Rekurzív A forrásmappa struktúrája és a szűrés eredménye (a félkövér fájlokat a rendszer lekéri)
Folder* (üres, alapértelmezett beállítás) false FolderA
    File1.csv
    File2.json
    Almappák1
        File3.csv
        File4.json
        File5.csv
MásikFolderB
    File6.csv
Folder* (üres, alapértelmezett beállítás) true FolderA
    File1.csv
    File2.json
    Almappák1
        File3.csv
        File4.json
        File5.csv
MásikFolderB
    File6.csv
Folder* *.csv false FolderA
    File1.csv
    File2.json
    Almappák1
        File3.csv
        File4.json
        File5.csv
MásikFolderB
    File6.csv
Folder* *.csv true FolderA
    File1.csv
    File2.json
    Almappák1
        File3.csv
        File4.json
        File5.csv
MásikFolderB
    File6.csv

Példák fájllistára

Ez a szakasz a fájllista elérési útjának másolási tevékenység forrásában való használatát ismerteti.

Feltéve, hogy a következő forrásmappa-struktúrával rendelkezik, és félkövér formátumban szeretné másolni a fájlokat:

Minta forrásstruktúra Tartalom a FileListToCopy.txt fájlban Folyamatkonfiguráció
Gyökér
    FolderA
        File1.csv
        File2.json
        Almappák1
            File3.csv
            File4.json
            File5.csv
    Metaadatok
        FileListToCopy.txt		 File1.csv
Almappák1/File3.csv
Almappák1/File5.csv		 Adatkészletben:
- Mappa elérési útja: root/FolderA

Másolási tevékenység forrása:
- Fájllista elérési útja: root/Metadata/FileListToCopy.txt

A fájllista elérési útja egy szövegfájlra mutat ugyanabban az adattárban, amely tartalmazza a másolni kívánt fájlok listáját, soronként egy fájlt az adathalmazban konfigurált elérési út relatív elérési útjával.

rekurzív és copyBehavior példák

Ez a szakasz a Másolás művelet eredményül kapott viselkedését ismerteti a rekurzív és a copyBehavior értékek különböző kombinációihoz.

Rekurzív copyBehavior Forrásmappa-struktúra Eredményként kapott cél
true preserveHierarchy Mappa1
    Fájl1
    Fájl2
    Almappák1
        Fájl3
        Fájl4
        Fájl5		 A Mappa1 célmappa a forrással megegyező struktúrával jön létre:

Mappa1
    Fájl1
    Fájl2
    Almappák1
        Fájl3
        Fájl4
        Fájl5.
true flattenHierarchy Mappa1
    Fájl1
    Fájl2
    Almappák1
        Fájl3
        Fájl4
        Fájl5		 A célmappa1 a következő struktúrával jön létre:

Mappa1
    a Fájl1 automatikusan létrehozott neve
    a Fájl2 automatikusan létrehozott neve
    a Fájl3 automatikusan létrehozott neve
    a Fájl4 automatikusan létrehozott neve
    a Fájl5 automatikusan létrehozott neve
true mergeFiles Mappa1
    Fájl1
    Fájl2
    Almappák1
        Fájl3
        Fájl4
        Fájl5		 A célmappa1 a következő struktúrával jön létre:

Mappa1
    File1 + File2 + File3 + File4 + File 5 tartalom egyesítése egy fájlba automatikusan létrehozott fájlnévvel
false preserveHierarchy Mappa1
    Fájl1
    Fájl2
    Almappák1
        Fájl3
        Fájl4
        Fájl5		 A Mappa1 célmappa a következő struktúrával jön létre

Mappa1
    Fájl1
    Fájl2

A Fájl3, File4 és File5 almappák nem lesznek felvéve.
false flattenHierarchy Mappa1
    Fájl1
    Fájl2
    Almappák1
        Fájl3
        Fájl4
        Fájl5		 A Mappa1 célmappa a következő struktúrával jön létre

Mappa1
    a Fájl1 automatikusan létrehozott neve
    a Fájl2 automatikusan létrehozott neve

A Fájl3, a Fájl4 és a Fájl5 almappát nem veszi fel a rendszer.
false mergeFiles Mappa1
    Fájl1
    Fájl2
    Almappák1
        Fájl3
        Fájl4
        Fájl5		 A Mappa1 célmappa a következő struktúrával jön létre

Mappa1
    Az 1. és a 2. fájl tartalma egy automatikusan létrehozott fájlnévvel rendelkező fájlba egyesül. a Fájl1 automatikusan létrehozott neve

A Fájl3, File4 és File5 almappák nem lesznek felvéve.

Keresési tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.

GetMetadata tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a GetMetadata tevékenységét.

Tevékenységtulajdonságok törlése

A tulajdonságok részleteinek megismeréséhez ellenőrizze a Törlési tevékenységet.

Örökölt modellek

Megjegyzés:

Az alábbi modellek továbbra is támogatottak a visszamenőleges kompatibilitás érdekében. Javasoljuk, hogy a fenti szakaszokban említett új modellt használja, és a szerzői felhasználói felület átállt az új modell létrehozására.

Örökölt adathalmaz-modell

Property Leírás Required
típus Az adathalmaz típustulajdonságának a következőnek kell lennie: FileShare Igen
folderPath A mappa elérési útja. A helyettesítő karakterek szűrője támogatott, az engedélyezett helyettesítő karakterek a következők: * (nulla vagy több karakternek felel meg) és ? (nulla vagy egyetlen karakternek felel meg); akkor használható ^ , ha a mappa tényleges neve helyettesítő karaktert tartalmaz, vagy ez a feloldó karakter található benne.

Példák: gyökérmappák/almappák/, további példák a csatolt szolgáltatás- és adatkészlet-definíciók, valamint a mappa- és fájlszűrő példákban.		 Nem
fileName A megadott "folderPath" alatti fájlok neve vagy helyettesítő karaktere . Ha nem ad meg értéket ehhez a tulajdonsághoz, az adathalmaz a mappában lévő összes fájlra mutat.

Szűrő esetén az engedélyezett helyettesítő karakterek a következők: * (nulla vagy több karakternek felel meg) és ? (nulla vagy egy karakternek felel meg).
- 1. példa: "fileName": "*.csv"
- 2. példa: "fileName": "???20180427.txt"
A feloldás akkor használható ^ , ha a tényleges fájlnévben helyettesítő karakter vagy ez a feloldó karakter található.

Ha a fileName nincs megadva kimeneti adatkészlethez, és a preserveHierarchy nincs megadva a tevékenység fogadójában, a másolási tevékenység automatikusan létrehozza a fájlnevet a következő mintával: "Data.[ tevékenységfuttatás azonosítója GUID]. [GUID ha FlattenHierarchy]. [formátum, ha konfigurálva van]. [tömörítés, ha konfigurálva van]", például "Data.0a405f8a-93ff-4c6f-b3be-f69616f1df7a.txt.gz"; ha táblázatos forrásból másol le lekérdezés helyett táblázatnevet, a névminta a következő: "[tábla neve].[ formátum]. [tömörítés, ha konfigurálva van]", például "MyTable.csv".		 Nem
modifiedDatetimeStart A fájlok szűrése a következő attribútum alapján történik: Utolsó módosítás. A fájlok akkor lesznek kijelölve, ha az utolsó módosításuk időpontja nagyobb vagy egyenlő, modifiedDatetimeStart mint modifiedDatetimeEnda . Az idő az UTC időzónára "2018-12-01T05:00:00Z" formátumban lesz alkalmazva.

Vegye figyelembe az adatáthelyezés általános teljesítményét, ha engedélyezi ezt a beállítást, ha nagy mennyiségű fájlból szeretne fájlszűrőt végezni.

A tulajdonságok null értékűek lehetnek, ami azt jelenti, hogy az adathalmazra nincs fájlattribútum-szűrő alkalmazva. Ha modifiedDatetimeStart dátum/idő érték van megadva, de modifiedDatetimeEnd NULL, az azt jelenti, hogy azok a fájlok lesznek kiválasztva, amelyek utolsó módosított attribútuma nagyobb vagy egyenlő a datetime értékkel. Ha modifiedDatetimeEnd dátum/idő érték van megadva, de modifiedDatetimeStart NULL, az azt jelenti, hogy azok a fájlok lesznek kiválasztva, amelyeknek az utolsó módosított attribútuma kisebb, mint a datetime érték.		 Nem
modifiedDatetimeEnd A fájlok szűrése a következő attribútum alapján történik: Utolsó módosítás. A fájlok akkor lesznek kijelölve, ha az utolsó módosításuk időpontja nagyobb vagy egyenlő, modifiedDatetimeStart mint modifiedDatetimeEnda . Az idő az UTC időzónára "2018-12-01T05:00:00Z" formátumban lesz alkalmazva.

Vegye figyelembe az adatáthelyezés általános teljesítményét, ha engedélyezi ezt a beállítást, ha nagy mennyiségű fájlból szeretne fájlszűrőt végezni.

A tulajdonságok null értékűek lehetnek, ami azt jelenti, hogy az adathalmazra nincs fájlattribútum-szűrő alkalmazva. Ha modifiedDatetimeStart dátum/idő érték van megadva, de modifiedDatetimeEnd NULL, az azt jelenti, hogy azok a fájlok lesznek kiválasztva, amelyek utolsó módosított attribútuma nagyobb vagy egyenlő a datetime értékkel. Ha modifiedDatetimeEnd dátum/idő érték van megadva, de modifiedDatetimeStart NULL értékű, az azt jelenti, hogy a legutóbbi módosított attribútummal rendelkező fájlok kisebbek a dátum/idő értéknél.		 Nem
format Ha fájlokat szeretne másolni fájlalapú tárolók között (bináris másolás), hagyja ki a formátumszakaszt a bemeneti és kimeneti adatkészlet-definíciókban.

Ha adott formátumú fájlokat szeretne elemezni vagy létrehozni, a következő fájlformátumtípusok támogatottak: TextFormat, JsonFormat, AvroFormat, OrcFormat, ParquetFormat. A formátum alatti típustulajdonság beállítása az alábbi értékek egyikére. További információ: Szövegformátum, Json Formátum, Avro Formátum, Orc Formátum és Parquet Format szakaszok.		 Nem (csak bináris másolási forgatókönyv esetén)
tömörítés Adja meg az adatok tömörítési típusát és szintjét. További információ: Támogatott fájlformátumok és tömörítési kodekek.
Támogatott típusok: GZip, Deflate, BZip2 és ZipDeflate.
Támogatott szintek: Optimális és Leggyorsabb.		 Nem

Tipp.

Ha az összes fájlt át szeretné másolni egy mappában, csak a folderPath értéket adja meg.
Ha egy adott nevű fájlt szeretne másolni, adja meg a folderPath mappát, a fájlnév pedig a mapparészt.
Ha egy mappa alá szeretné másolni a fájlok egy részhalmazát, adja meg a folderPath mapparészt és a fileName fájlt helyettesítő karakter szűrővel.

Megjegyzés:

Ha a fájlszűrőhöz a "fileFilter" tulajdonságot használta, az továbbra is támogatott, miközben a rendszer azt javasolja, hogy használja a fájlnévhez hozzáadott új szűrőképességet.

Példa

{
    "name": "FileSystemDataset",
    "properties": {
        "type": "FileShare",
        "linkedServiceName":{
            "referenceName": "<file system linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "folder/subfolder/",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Régi másolási tevékenység forrásmodellje

Property Leírás Required
típus A másolási tevékenység forrásának típustulajdonságának a következőnek kell lennie: FileSystemSource Igen
Rekurzív Azt jelzi, hogy az adatok rekurzív módon vannak-e beolvasva az almappákból vagy csak a megadott mappából. Vegye figyelembe, hogy ha a rekurzív értéke igaz, és a fogadó fájlalapú tároló, az üres mappa/almappák nem lesznek másolva/létrehozva a fogadóban.
Az engedélyezett értékek a következők: igaz (alapértelmezett), hamis		 Nem
maxConcurrent Csatlakozás ions Az adattárhoz a tevékenység futtatása során létrehozott egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat. Nem

Példa

"activities":[
    {
        "name": "CopyFromFileSystem",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<file system input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "FileSystemSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Régi másolási tevékenység fogadómodellje

Property Leírás Required
típus A másolási tevékenység fogadójának típustulajdonságának a következőnek kell lennie: FileSystemSink Igen
copyBehavior Meghatározza a másolási viselkedést, ha a forrás fájlalapú adattárból származó fájlok.

Az engedélyezett értékek a következők:
- PreserveHierarchy (alapértelmezett): megőrzi a fájlhierarchiát a célmappában. A forrásfájl forrásmappához viszonyított elérési útja megegyezik a célfájl célmappához viszonyított elérési útjának elérési útával.
- FlattenHierarchy: a forrásmappából származó összes fájl a célmappa első szintjén található. A célfájlok neve automatikusan létre lett hozva.
- MergeFiles: a forrásmappából származó összes fájlt egyetlen fájlba egyesíti. Az egyesítés során nem történik rekorddeduplikáció. Ha a fájlnév meg van adva, az egyesített fájlnév lesz a megadott név; ellenkező esetben automatikusan generált fájlnév lenne.		 Nem
maxConcurrent Csatlakozás ions Az adattárhoz a tevékenység futtatása során létrehozott egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat. Nem

Példa

"activities":[
    {
        "name": "CopyToFileSystem",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<file system output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "FileSystemSink",
                "copyBehavior": "PreserveHierarchy"
            }
        }
    }
]

Kapcsolódó tartalom

A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját a támogatott adattárakban találja.