Formát Iceberg v Azure Data Factory a Azure Synapse Analytics

VZTAHUJE SE NA: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory v Microsoft Fabric je nová generace Azure Data Factory s jednodušší architekturou, integrovanou AI a novými funkcemi. Pokud s integrací dat začínáte, začněte Fabric Data Factory. Stávající úlohy ADF lze upgradovat na Fabric pro přístup k novým funkcím v oblastech datové vědy, analýz v reálném čase a vytváření sestav.

Pokud chcete data zapsat do formátu Iceberg, postupujte podle tohoto článku.

Pro následující konektory se podporuje formát Iceberg:

Datovou sadu Iceberg můžete použít v aktivita Copy.

Vlastnosti datové sady

Úplný seznam oddílů a vlastností dostupných pro definování datových sad najdete v článku Datové sady . Tato část obsahuje seznam vlastností podporovaných datovou sadou formátu Iceberg.

Vlastnost Popis Povinné
typ Vlastnost typu datové sady musí být nastavená na Iceberg. Ano
poloha Nastavení umístění souborů Každý konektor založený na souborech má svůj vlastní typ umístění a podporované vlastnosti v části location. Ano

Níže je příklad datové sady Iceberg na Azure Data Lake Storage Gen2:

{
    "name": "IcebergDataset",
    "properties": {
        "type": "Iceberg",
        "linkedServiceName": {
            "referenceName": "<Azure Data Lake Storage Gen2 linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring >
        ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobFSLocation",
                "fileSystem": "filesystemname",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

Vlastnosti kopírovací aktivity

Úplný seznam oddílů a vlastností dostupných pro definování aktivit najdete v článku Pipelines . Tato část obsahuje seznam vlastností podporovaných jímkou Iceberg.

Ledovec jako jímka

Následující vlastnosti jsou podporovány v sekci aktivity kopírování *sink*.

Vlastnost Popis Povinné
typ Vlastnost typu zdroje aktivity kopírování musí být nastavena na IcebergSink. Ano
nastavení formátu Skupina vlastností. Níže najdete tabulku nastavení zápisu do Icebergu. Ne
nastavení úložiště Skupina vlastností pro zápis dat do úložiště dat. Každý konektor založený na souborech má podporovaná nastavení zápisu pod storeSettings. Ne

Podporovaná nastavení zápisu do Icebergu v části formatSettings:

Vlastnost Popis Povinné
typ Typ formatSettings musí být nastaven na IcebergWriteSettings. Ano

Tady jsou některé běžné spojnice a formáty související s formátem textu s oddělovači:

Související obsah

  • Last updated on