Megosztás:


Bináris formátum az Azure Data Factoryben és a Synapse Analyticsben

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

A bináris formátum a következő összekötők esetében támogatott: Amazon S3, Amazon S3 Kompatibilis tároló, Azure Blob, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure Files, Fájlrendszer, FTP, Google Cloud Storage, HDFS, HTTP, Oracle Cloud Storage és SFTP.

Bináris adatkészletet használhat Copy tevékenység, GetMetadata tevékenységben vagy Törlési tevékenységben. Bináris adatkészlet használata esetén a szolgáltatás nem elemzi a fájltartalmakat, hanem as-iskezeli.

Feljegyzés

Ha bináris adatkészletet használ másolási tevékenységben, csak bináris adathalmazból bináris adatkészletbe másolhat.

Adathalmaz tulajdonságai

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című cikkben találja. Ez a szakasz a bináris adatkészlet által támogatott tulajdonságok listáját tartalmazza.

Tulajdonság Leírás Kötelező
típus Az adathalmaz típustulajdonságának bináris értékre kell állítania. Igen
helyszín A fájl(ok) helybeállításai. Minden fájlalapú csatlakozó saját helytípussal és támogatott tulajdonságokkal rendelkezik location alatt. Lásd az összekötőkről szóló cikk –> Adathalmaz tulajdonságai szakasz részleteit. Igen
tömörítés A fájltömörítés konfigurálásához használt tulajdonságok csoportja. Konfigurálja ezt a szakaszt, ha a tevékenység végrehajtása során tömörítést/kibontást szeretne végezni. Nem
típus A bináris fájlok olvasásához/írásához használt tömörítési kodek.
Az engedélyezett értékek: bzip2, gzip, deflate, ZipDeflate, Tar vagy TarGzip.
Figyelem: amikor a másolási tevékenységet használja a ZipDeflate, TarGzip, Tar fájl(ok) kitömörítésére és írására fájlalapú fogadó adattárba, alapértelmezés szerint a fájlok a következő mappába kerülnek kicsomagolásra:<path specified in dataset>/<folder named as source compressed file>/ használja a másolási tevékenység forrásánpreserveZipFileNameAsFolder található /preserveCompressionFileNameAsFolder opciót a tömörített fájl(ok) nevének mappastruktúraként való megőrzésének szabályozására.
Nem
szint A tömörítési arány. Akkor alkalmazható, ha az adathalmazt a Copy művelet célterületén használják.
Az engedélyezett értékek az Optimális vagy a Leggyorsabb.
- Leggyorsabb: A tömörítési műveletnek a lehető leggyorsabban végre kell hajtania, még akkor is, ha az eredményül kapott fájl nincs optimálisan tömörítve.
- Optimális: A tömörítési műveletet optimálisan kell tömöríteni, még akkor is, ha a művelet végrehajtása hosszabb időt vesz igénybe. További információ: Tömörítési szint témakör.
Nem

Az alábbiakban egy példa látható az Azure Blob Storage bináris adatkészletére:

{
    "name": "BinaryDataset",
    "properties": {
        "type": "Binary",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "compression": {
                "type": "ZipDeflate"
            }
        }
    }
}

Másolási tevékenység tulajdonságai

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című cikkben találja. Ez a szakasz a bináris forrás és fogadó által támogatott tulajdonságok listáját tartalmazza.

Feljegyzés

Ha bináris adatkészletet használ másolási tevékenységben, csak bináris adathalmazból bináris adatkészletbe másolhat.

Bináris mint forrás

A másolási tevékenység *forrás* szakasza az alábbi tulajdonságokat támogatja.

Tulajdonság Leírás Kötelező
típus A másolási tevékenység forrásának típustulajdonságát BinarySource értékre kell állítani. Igen
formátumbeállítások Egy tulajdonságcsoport. Tekintse meg az alábbi Bináris olvasási beállítások táblát. Nem
boltbeállítások Az adatok adattárból való olvasására vonatkozó tulajdonságok csoportja. Minden fájlalapú összekötő a saját támogatott olvasási beállításaival rendelkezik az alábbiak alatt storeSettings. Az összekötő cikk részleteinek megtekintése –> Másolás tevékenység tulajdonságai szakasz. Nem

Támogatott bináris olvasási beállítások a következő területen formatSettings:

Tulajdonság Leírás Kötelező
típus A formatSettings típusának BinaryReadSettings értékre kell állítania. Igen
tömörítési tulajdonságok Egy adott tömörítési kodek adatainak felbontására vonatkozó tulajdonságok csoportja. Nem
megőrizZipFájlnevetMappaként
(under compressionProperties->type as ZipDeflateReadSettings)
Akkor érvényes, ha a bemeneti adatkészlet ZipDeflate tömörítéssel van konfigurálva. Azt jelzi, hogy a másolás során meg kell-e őrizni a forrás zip-fájl nevét mappastruktúraként.
- Ha igazra (alapértelmezett) van állítva, a szolgáltatás a kibontott fájlokat a következő helyre írja: <path specified in dataset>/<folder named as source zip file>/.
- Ha hamisra van állítva, a szolgáltatás közvetlenül a <path specified in dataset> könyvtárba írja a kibontott fájlokat. Győződjön meg arról, hogy nincsenek ismétlődő fájlnevek a különböző forrás zip-fájlokban, hogy elkerülje a versenyzést vagy a váratlan viselkedést.
Nem
őrizze meg a tömörített fájlnevet mappaként
(alatt compressionProperties->type mint TarGZipReadSettings vagy TarReadSettings)
Akkor érvényes, ha a bemeneti adatkészlet TarGzip/van konfigurálva. Azt jelzi, hogy a másolás során megőrzi-e a forrás tömörített fájlnevét mappastruktúraként.
- Ha igaz (alapértelmezett) értékre van állítva, a szolgáltatás a kicsomagolt fájlokat a következő helyre <path specified in dataset>/<folder named as source compressed file>/írja.
- Ha hamis értékre van állítva, a szolgáltatás közvetlenül <path specified in dataset>ide írja a tömörített fájlokat. Győződjön meg arról, hogy nem duplikált fájlnevek szerepelnek a különböző forrásfájlokban, hogy elkerülje a versenyzést vagy a váratlan viselkedést.
Nem
"activities": [
    {
        "name": "CopyFromBinary",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "BinarySource",
                "storeSettings": {
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true,
                    "deleteFilesAfterCompletion": true
                },
                "formatSettings": {
                    "type": "BinaryReadSettings",
                    "compressionProperties": {
                        "type": "ZipDeflateReadSettings",
                        "preserveZipFileNameAsFolder": false
                    }
                }
            },
            ...
        }
        ...
    }
]

Bináris mint fogadó

A másolási tevékenység *fogadó* szakasza az alábbi tulajdonságokat támogatja.

Tulajdonság Leírás Kötelező
típus A másolási tevékenység forrásának típustulajdonságát BinarySink értékre kell állítani. Igen
beállítások mentése Az adatok adattárba való írására vonatkozó tulajdonságok csoportja. Minden fájl alapú csatlakozónak saját támogatott írási beállításai vannak a storeSettings. Részletek a csatlakozási cikkben –> Másolási tevékenység tulajdonságai szakasz. Nem