Bináris formátum a Azure Data Factory és a Synapse Analyticsben

Vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Data Factory a Microsoft Fabric a Azure Data Factory következő generációja, egyszerűbb architektúrával, beépített AI-vel és új funkciókkal. Ha még nem ismerkedik az adatintegrációval, kezdje a Fabric Data Factoryvel. A meglévő ADF-számítási feladatok frissíthetők Fabric használatával, hogy elérjék az adatkutatás, a valós idejű elemzés és a jelentéskészítés új képességeit.

• A Fabric ingyenes próbaverzió indítása.
• Az Azure Data Factory-ből a Data Factory-be a Microsoft Fabricben

A bináris formátum a következő összekötők esetében támogatott: Amazon S3, Amazon S3 kompatibilis tároló, Azure Blob, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure Files, File System, FTP, Google Cloud Storage, HDFS, HTTP, Felhőtároló és SFTP.

Bináris adatkészletet használhat Copy tevékenység, GetMetadata tevékenység vagy Delete tevékenységben. Bináris adatkészlet használata esetén a szolgáltatás nem elemzi a fájltartalmakat, hanem as-iskezeli.

Feljegyzés

Ha bináris adatkészletet használ másolási tevékenységben, csak bináris adathalmazból bináris adatkészletbe másolhat.

Adathalmaz tulajdonságai

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című cikkben találja. Ez a szakasz a bináris adatkészlet által támogatott tulajdonságok listáját tartalmazza.

Tulajdonság	Leírás	Kötelező
típus	Az adathalmaz típustulajdonságának bináris értékre kell állítania.	Igen
hely	A fájl(ok) helybeállításai. Minden fájlalapú csatlakozó saját helytípussal és támogatott tulajdonságokkal rendelkezik location alatt. Lásd az összekötőkről szóló cikk –> Adathalmaz tulajdonságai szakasz részleteit.	Igen
tömörítés	A fájltömörítés konfigurálásához használt tulajdonságok csoportja. Konfigurálja ezt a szakaszt, ha a tevékenység végrehajtása során tömörítést/kibontást szeretne végezni.	Nem
típus	A bináris fájlok olvasásához/írásához használt tömörítési kodek. Az engedélyezett értékek: bzip2, gzip, deflate, ZipDeflate, Tar vagy TarGzip. Figyelem: amikor a másolási tevékenységet használja a ZipDeflate, /, Tar fájl(ok) kitömörítésére és írására fájlalapú fogadó adattárba, alapértelmezés szerint a fájlok a következő mappába kerülnek kicsomagolásra:/ használja a másolási tevékenység forrásán található <path specified in dataset>/<folder named as source compressed file>/preserveZipFileNameAsFolder/ opciót a tömörített fájl(ok) nevének mappastruktúraként való megőrzésének szabályozására.	Nem
szint	A tömörítési arány. Alkalmazza az adathalmazt a Copy tevékenység végpontjában történő használatra. Az engedélyezett értékek az Optimális vagy a Leggyorsabb. - Leggyorsabb: A tömörítési műveletnek a lehető leggyorsabban végre kell hajtania, még akkor is, ha az eredményül kapott fájl nincs optimálisan tömörítve. - Optimális: A tömörítési műveletet optimálisan kell tömöríteni, még akkor is, ha a művelet végrehajtása hosszabb időt vesz igénybe. További információ: Tömörítési szint témakör.	Nem

Az alábbi példa bináris adatkészletet mutat be a Azure Blob Storage:

{
    "name": "BinaryDataset",
    "properties": {
        "type": "Binary",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "compression": {
                "type": "ZipDeflate"
            }
        }
    }
}

Copy tevékenység tulajdonságok

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című cikkben találja. Ez a szakasz a bináris forrás és fogadó által támogatott tulajdonságok listáját tartalmazza.

Feljegyzés

Ha bináris adatkészletet használ másolási tevékenységben, csak bináris adathalmazból bináris adatkészletbe másolhat.

Bináris mint forrás

A másolási tevékenység *forrás* szakasza az alábbi tulajdonságokat támogatja.

Tulajdonság	Leírás	Kötelező
típus	A másolási tevékenység forrásának típustulajdonságát BinarySource értékre kell állítani.	Igen
formátumbeállítások	Egy tulajdonságcsoport. Tekintse meg az alábbi Bináris olvasási beállítások táblát.	Nem
boltbeállítások	Az adatok adattárból való olvasására vonatkozó tulajdonságok csoportja. Minden fájlalapú összekötő a saját támogatott olvasási beállításaival rendelkezik az alábbiak alatt storeSettings. Részletek megtalálhatók a csatlakozó cikkben –> a Másolási tevékenység tulajdonságok szakaszában.	Nem

Támogatott bináris olvasási beállítások a következő területen formatSettings:

Tulajdonság	Leírás	Kötelező
típus	A formatSettings típusának BinaryReadSettings értékre kell állítania.	Igen
tömörítési tulajdonságok	Egy adott tömörítési kodek adatainak felbontására vonatkozó tulajdonságok csoportja.	Nem
megőrizZipFájlnevetMappaként (az alatt compressionProperties->type mint ZipDeflateReadSettings)	Akkor érvényes, ha a bemeneti adatkészlet ZipDeflate tömörítéssel van konfigurálva. Azt jelzi, hogy a másolás során meg kell-e őrizni a forrás zip-fájl nevét mappastruktúraként. - Ha igazra (alapértelmezett) van állítva, a szolgáltatás a kibontott fájlokat a következő helyre írja: <path specified in dataset>/<folder named as source zip file>/. - Ha hamisra van állítva, a szolgáltatás közvetlenül a <path specified in dataset> könyvtárba írja a kibontott fájlokat. Győződjön meg arról, hogy nincsenek ismétlődő fájlnevek a különböző forrás zip-fájlokban, hogy elkerülje a versenyzést vagy a váratlan viselkedést.	Nem
őrizze meg a tömörített fájlnevet mappaként (alatt compressionProperties->type mint TarGZipReadSettings vagy TarReadSettings)	Akkor érvényes, ha a bemeneti adatkészlet TarGzip/van konfigurálva. Azt jelzi, hogy a másolás során megőrzi-e a forrás tömörített fájlnevét mappastruktúraként. - Ha igaz (alapértelmezett) értékre van állítva, a szolgáltatás a kicsomagolt fájlokat a következő helyre <path specified in dataset>/<folder named as source compressed file>/írja. - Ha hamis értékre van állítva, a szolgáltatás közvetlenül <path specified in dataset>ide írja a tömörített fájlokat. Győződjön meg arról, hogy nem duplikált fájlnevek szerepelnek a különböző forrásfájlokban, hogy elkerülje a versenyzést vagy a váratlan viselkedést.	Nem

"activities": [
    {
        "name": "CopyFromBinary",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "BinarySource",
                "storeSettings": {
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true,
                    "deleteFilesAfterCompletion": true
                },
                "formatSettings": {
                    "type": "BinaryReadSettings",
                    "compressionProperties": {
                        "type": "ZipDeflateReadSettings",
                        "preserveZipFileNameAsFolder": false
                    }
                }
            },
            ...
        }
        ...
    }
]

Bináris mint fogadó

A másolási tevékenység *fogadó* szakasza az alábbi tulajdonságokat támogatja.

Tulajdonság	Leírás	Kötelező
típus	A másolási tevékenység forrásának típustulajdonságát BinarySink értékre kell állítani.	Igen
boltbeállítások	Az adatok adattárba való írására vonatkozó tulajdonságok csoportja. Minden fájl alapú csatlakozónak saját támogatott írási beállításai vannak a storeSettings. Részletek megtalálhatók a csatlakozó cikkben –> a Másolási tevékenység tulajdonságok szakaszában.	Nem

Kapcsolódó tartalom

• Copy tevékenység áttekintése
• GetMetadata-tevékenység
• Tevékenység törlése