Compartir vía

Formato Iceberg en Azure Data Factory y Azure Synapse Analytics

SE APLICA A: Azure Data Factory Azure Synapse Analytics

Sugerencia

Data Factory en Microsoft Fabric es la próxima generación de Azure Data Factory, con una arquitectura más sencilla, inteligencia artificial integrada y nuevas características. Si no está familiarizado con la integración de datos, comience con Fabric Data Factory. Las cargas de trabajo de ADF existentes pueden actualizarse a Fabric para acceder a nuevas funcionalidades en ciencia de datos, análisis en tiempo real e informes.

Siga este artículo cuando quiera escribir los datos en formato Iceberg.

Se admite el formato Iceberg para los siguientes conectores:

Puede usar el conjunto de datos Iceberg en actividad de copia.

Propiedades del conjunto de datos

Si desea ver una lista completa de las secciones y propiedades disponibles para definir conjuntos de datos, consulte el artículo sobre conjuntos de datos. En esta sección se ofrece una lista de las propiedades que admite el conjunto de datos en formato Iceberg.

Propiedad Descripción Obligatorio
tipo La propiedad type del conjunto de datos debe establecerse en Iceberg. Sí
ubicación Configuración de ubicación de los archivos. Cada conector basado en archivos tiene su propio tipo de ubicación y propiedades compatibles en location. Sí

A continuación se muestra un ejemplo del conjunto de datos de Iceberg en Azure Data Lake Storage Gen2:

{
    "name": "IcebergDataset",
    "properties": {
        "type": "Iceberg",
        "linkedServiceName": {
            "referenceName": "<Azure Data Lake Storage Gen2 linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring >
        ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobFSLocation",
                "fileSystem": "filesystemname",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

Las propiedades de la actividad de copia

Si desea ver una lista completa de las secciones y propiedades disponibles para definir actividades, consulte el artículo sobre canalizaciones. En esta sección se proporciona una lista de las propiedades compatibles con el receptor Iceberg.

Iceberg como sumidero

En la sección *sink* de la actividad de copia se admiten las siguientes propiedades.

Propiedad Descripción Obligatorio
tipo La propiedad type del origen de la actividad de copia debe establecerse en IcebergSink. Sí
configuración de formato Un grupo de propiedades. Consulte la tabla de configuración de escritura de Iceberg a continuación. No
configuración de tienda Un grupo de propiedades sobre cómo escribir datos en un almacén de datos. Cada conector basado en archivos tiene su propia configuración de escritura admitida en storeSettings. No

Configuración de escritura de Iceberg compatible en formatSettings:

Propiedad Descripción Obligatorio
tipo El tipo de formatSettings debe establecerse en IcebergWriteSettings. Sí

Estos son algunos conectores y formatos comunes relacionados con el formato de texto delimitado:

Contenido relacionado

  • Last updated on