Iceberg-format in Azure Data Factory en Azure Synapse Analytics

Van toepassing op: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory in Microsoft Fabric is de volgende generatie van Azure Data Factory, met een eenvoudigere architectuur, ingebouwde AI en nieuwe functies. Als u nieuw bent in gegevensintegratie, begint u met Fabric Data Factory. Bestaande ADF-workloads kunnen upgraden naar Fabric om toegang te krijgen tot nieuwe mogelijkheden voor gegevenswetenschap, realtime analyses en rapportage.

Volg dit artikel als u de gegevens wilt schrijven naar de Iceberg-indeling.

De Iceberg-indeling wordt ondersteund voor de volgende connectors:

U kunt de Iceberg-gegevensset gebruiken in Copy activity.

Eigenschappen van gegevensset

Zie het artikel Gegevenssets voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van gegevenssets . Deze sectie bevat een lijst met eigenschappen die worden ondersteund door de dataset in Iceberg-indeling.

Eigenschap Beschrijving Vereist
type De typeeigenschap van de gegevensset moet worden ingesteld op Iceberg. Ja
locatie Locatie-instellingen van de bestanden. Elke op bestanden gebaseerde connector heeft een eigen locatietype en ondersteunde eigenschappen onder location. Ja

Hieronder ziet u een voorbeeld van een Iceberg-gegevensset op Azure Data Lake Storage Gen2:

{
    "name": "IcebergDataset",
    "properties": {
        "type": "Iceberg",
        "linkedServiceName": {
            "referenceName": "<Azure Data Lake Storage Gen2 linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring >
        ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobFSLocation",
                "fileSystem": "filesystemname",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

Copy activity eigenschappen

Zie het artikel Pijplijnen voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van activiteiten. Deze sectie bevat een lijst met eigenschappen die worden ondersteund door de Iceberg-sink.

Ijsberg als sink

De volgende eigenschappen worden ondersteund in de sectie kopieeractiviteit *sink* .

Eigenschap Beschrijving Vereist
type De typeeigenschap van de bron van de kopieeractiviteit moet worden ingesteld op IcebergSink. Ja
formaatinstellingen Een groep eigenschappen. Raadpleeg de onderstaande tabel met schrijfinstellingen voor Iceberg. Nee
storeSettings Een groep eigenschappen over het schrijven van gegevens naar een gegevensarchief. Elke op bestanden gebaseerde connector heeft zijn eigen ondersteunde schrijfinstellingen onder storeSettings. Nee

Ondersteunde Iceberg schrijfinstellingen onder formatSettings:

Eigenschap Beschrijving Vereist
type Het type formatSettings moet worden ingesteld op IcebergWriteSettings. Ja

Hier zijn enkele veelvoorkomende connectors en formaten met betrekking tot de gescheiden tekstindeling:

Gerelateerde inhoud

  • Last updated on