Binární formát ve Azure Data Factory a Synapse Analytics

VZTAHUJE SE NA: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory v Microsoft Fabric je nová generace Azure Data Factory s jednodušší architekturou, integrovanou AI a novými funkcemi. Pokud s integrací dat začínáte, začněte Fabric Data Factory. Stávající úlohy ADF lze upgradovat na Fabric pro přístup k novým funkcím v oblastech datové vědy, analýz v reálném čase a vytváření sestav.

Binární formát je podporován pro následující konektory: Amazon S3, Amazon S3 Compatible Storage, Azure Blob, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure Files, Souborový systém, FTP, Google Cloud Storage, HDFS, HTTP, Oracle Cloud Storage a SFTP.

Můžete použít binární dataset v aktivita Kopírování, aktivita Získat metadata nebo aktivita Smazat. Při použití binární datové sady služba neanalyduje obsah souboru, ale zpracovává ho as-is.

Poznámka

Při použití binární datové sady v aktivitě kopírování můžete kopírovat pouze z binární datové sady do binární datové sady.

Vlastnosti datové sady

Úplný seznam oddílů a vlastností dostupných pro definování datových sad najdete v článku Datové sady . Tato část obsahuje seznam vlastností podporovaných binární datovou sadou.

Vlastnost Popis Požadováno
typ Vlastnost typu datové sady musí být nastavena na Binary. Yes
poloha Nastavení umístění souborů Každý konektor založený na souborech má svůj vlastní typ umístění a podporované vlastnosti v části location. Podrobnosti najdete v článku o konektoru v sekci –> Vlastnosti datové sady. Yes
komprese Skupina vlastností pro konfiguraci komprese souborů Tuto část nakonfigurujte, když chcete během provádění aktivity provést kompresi nebo dekompresi. Ne
typ Komprimační kodek používaný ke čtení a zápisu binárních souborů.
Povolené hodnoty jsou bzip2, gzip, deflate, ZipDeflate, Tar nebo TarGzip.
Poznámka: Při použití aktivity kopírování pro dekompresi souborů ZipDeflate/, TarGzip/ a Tar a zápisu do úložiště dat založeného na souborech jsou soubory ve výchozím nastavení extrahovány do složky:<path specified in dataset>/<folder named as source compressed file>/. Pomocí preserveZipFileNameAsFolder/preserveCompressionFileNameAsFolder ve zdroji aktivity kopírování můžete řídit, zda zachovat názvy komprimovaných souborů jako součást struktury složek.		 Ne
úroveň Poměr komprese. Toto použijte, když se datová sada používá jako cílové místo v aktivitě kopírování.
Povolené hodnoty jsou optimální nebo nejrychlejší.
- Nejrychlejší: Operace komprese by se měla co nejrychleji dokončit, i když výsledný soubor není optimálně komprimovaný.
- Optimální: Operace komprese by měla být optimálně komprimována, i když dokončení operace trvá delší dobu. Další informace naleznete v tématu Úroveň komprese.		 Ne

Níže je příklad binární datové sady v Azure Blob Storage:

{
    "name": "BinaryDataset",
    "properties": {
        "type": "Binary",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "compression": {
                "type": "ZipDeflate"
            }
        }
    }
}

Vlastnosti kopírovací aktivity

Úplný seznam oddílů a vlastností dostupných pro definování aktivit najdete v článku Pipelines . Tato část obsahuje seznam vlastností podporovaných binárním zdrojem a jímkou.

Poznámka

Při použití binární datové sady v aktivitě kopírování můžete kopírovat pouze z binární datové sady do binární datové sady.

Binární jako zdroj

Následující vlastnosti jsou podporovány v části aktivity kopírování *source* .

Vlastnost Popis Požadováno
typ Vlastnost typu zdroje aktivity kopírování musí být nastavena na BinarySource. Yes
nastavení formátu Skupina vlastností. Níže najdete tabulku nastavení binárního čtení . Ne
uložit nastavení Skupina vlastností, jak číst data z úložiště dat. Každý souborový konektor má vlastní podporovaná nastavení pro čtení v části storeSettings. Zobrazit podrobnosti v článku o konektoru -> část Vlastnosti kopírování aktivit. Ne

Podporovaná nastavení binárního čtení v části formatSettings:

Vlastnost Popis Požadováno
typ Typ formatSettings musí být nastaven na BinaryReadSettings. Yes
vlastnosti komprese Skupina vlastností, jak dekomprimovat data pro daný kodek komprese. Ne
preserveZipFileNameAsFolder
(pod compressionProperties->type as ZipDeflateReadSettings)		 Platí, když je vstupní datová sada nakonfigurovaná pomocí komprese ZipDeflate . Určuje, zda chcete zachovat název zdrojového souboru ZIP jako strukturu složek během kopírování.
- Pokud je nastavena hodnota true (výchozí), služba zapíše rozbalené soubory do <path specified in dataset>/<folder named as source zip file>/.
- Pokud je nastavena na hodnotu false, služba zapíše rozbalené soubory přímo do <path specified in dataset>. Ujistěte se, že v různých zdrojových souborech ZIP nemáte duplicitní názvy souborů, abyste se vyhnuli závodnímu nebo neočekávanému chování.		 Ne
preserveCompressionFileNameAsFolder
(pod compressionProperties->type jako TarGZipReadSettings nebo TarReadSettings)		 Platí, když je vstupní datová sada nakonfigurovaná pomocí TarGzip/Tar komprese. Určuje, zda se má během kopírování zachovat zdrojový komprimovaný název souboru jako struktura složek.
- Při nastavení na hodnotu true (výchozí) služba zapíše dekompresované soubory do <path specified in dataset>/<folder named as source compressed file>/.
- Pokud je nastavena na hodnotu false, služba zapíše dekomprimované soubory přímo do <path specified in dataset>. Ujistěte se, že v různých zdrojových souborech nemáte duplicitní názvy souborů, abyste se vyhnuli závodnímu nebo neočekávanému chování.		 Ne 
"activities": [
    {
        "name": "CopyFromBinary",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "BinarySource",
                "storeSettings": {
                    "type": "AzureBlobStorageReadSettings",
                    "recursive": true,
                    "deleteFilesAfterCompletion": true
                },
                "formatSettings": {
                    "type": "BinaryReadSettings",
                    "compressionProperties": {
                        "type": "ZipDeflateReadSettings",
                        "preserveZipFileNameAsFolder": false
                    }
                }
            },
            ...
        }
        ...
    }
]

Binární jako jímka

Následující vlastnosti jsou podporovány v sekci aktivity kopírování *sink*.

Vlastnost Popis Požadováno
typ Vlastnost typu zdroje aktivity kopírování musí být nastavena na BinarySink. Yes
uložit nastavení Skupina vlastností pro zápis dat do úložiště dat. Každý konektor založený na souborech má podporovaná nastavení zápisu pod storeSettings. Zobrazit podrobnosti v článku o konektoru -> část Vlastnosti kopírování aktivit. Ne

Související obsah

  • Last updated on