Формат Iceberg в Azure Data Factory и Azure Synapse Analytics

ПРИМЕНИМО К: Azure Data Factory Azure Synapse Analytics

Совет

Data Factory в Microsoft Fabric — это следующее поколение Azure Data Factory с более простой архитектурой, встроенным ИИ и новыми функциями. Если вы не знакомы с интеграцией данных, начните с Fabric Data Factory. Существующие рабочие нагрузки ADF могут обновляться до Fabric для доступа к новым возможностям в области обработки и анализа данных, аналитики в режиме реального времени и отчетов.

Обратитесь к этой статье, когда вы хотите записать данные в формате Iceberg.

Формат Айсберга поддерживается для следующих соединителей:

Набор данных Iceberg можно использовать в Copy activity.

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в статье о наборах данных. В этом разделе представлен список свойств, поддерживаемых набором данных формата Iceberg.

Свойство Описание: Обязательное поле
тип Свойство типа набора данных должно иметь значение Iceberg. Да
расположение Параметры расположения файлов. Каждый файловый соединитель имеет собственный тип расположения и поддерживает собственный набор свойств в разделе location. Да

Ниже приведен пример набора данных Iceberg на Azure Data Lake Storage Gen2.

{
    "name": "IcebergDataset",
    "properties": {
        "type": "Iceberg",
        "linkedServiceName": {
            "referenceName": "<Azure Data Lake Storage Gen2 linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring >
        ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobFSLocation",
                "fileSystem": "filesystemname",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

Свойства Copy activity

Полный список разделов и свойств, используемых для определения действий, см. в статье Конвейеры. В этом разделе представлен список свойств, поддерживаемых приемником Iceberg.

Айсберг в качестве приемника

В разделе *sink* действия "Copy" поддерживаются следующие свойства.

Свойство Описание: Обязательное поле
тип Свойство type источника действия копирования должно иметь значение IcebergSink. Да
настройки_формата Группа свойств. См. таблицу настроек записи Iceberg ниже. Нет
НастройкиМагазина Группа свойств, определяющих способы записи данных в хранилище данных. Каждый файловый соединитель поддерживает собственный набор параметров записи под тегом storeSettings. Нет

Поддерживаемые параметры записи Iceberg в рамках formatSettings:

Свойство Описание: Обязательное поле
тип Тип formatSettings должен быть установлен в IcebergWriteSettings. Да

Ниже приведены некоторые распространенные разделители и форматы, связанные с форматом разделенного текстового файла:

Связанный контент

  • Last updated on