Прочитать на английском

Поделиться через


Формат ORC в фабрике данных в Microsoft Fabric

В этой статье описывается настройка формата ORC в конвейере данных фабрики данных в Microsoft Fabric.

Поддерживаемые возможности

Формат ORC поддерживается для следующих действий и соединителей в качестве источника и назначения.

Формат ORC в действии копирования

Чтобы настроить формат ORC, выберите подключение в исходном или целевом расположении действия копирования конвейера данных, а затем выберите ORC в раскрывающемся списке формата файла. Выберите параметры для дальнейшей настройки этого формата.

Снимок экрана: параметры формата файла.

Формат ORC в качестве источника

После выбора параметров в разделе "Формат файла" в диалоговом окне "Всплывающие параметры формата файла" отображаются следующие свойства.

Снимок экрана: источник формата файла ORC.

  • Тип сжатия: выберите кодек сжатия, используемый для чтения файлов ORC в раскрывающемся списке. Вы можете выбрать вариант None, zlib или snappy.

Формат ORC в качестве назначения

После выбора параметров в диалоговом окне всплывающих параметров формата файла отображаются следующие свойства.

Снимок экрана: назначение формата файла ORC.

  • Тип сжатия: выберите кодек сжатия, используемый для записи файлов ORC в раскрывающемся списке. Вы можете выбрать вариант None, zlib или snappy.

В разделе "Дополнительные параметры" на вкладке "Назначение " отображаются следующие свойства формата ORC.

  • Максимальное количество строк для каждого файла: при записи данных в папку можно выбрать запись в несколько файлов и указать максимальные строки для каждого файла. Укажите максимальные строки, которые требуется записать для каждого файла.
  • Префикс имени файла: применимо, если настроены максимальные строки для каждого файла . Оно задает префикс, добавляемый к имени файла при записи данных с разбиением на несколько файлов. Имя присваивается по следующему шаблону: <fileNamePrefix>_00000.<fileExtension>. Если имя файла не указано, префикс имени файла создается автоматически. Это свойство не применяется, если источник является хранилищем на основе файлов или включенным параметром секции хранилища данных.

Сводка таблицы

ORC в качестве источника

Следующие свойства поддерживаются в разделе источника действия копирования при использовании формата ORC.

Имя Описание Значение Обязательное поле Свойство скрипта JSON
Формат файлов Формат файла, который требуется использовать. ORC Да type (under datasetSettings):
Орк
Тип сжатия Кодек сжатия, используемый для чтения файлов ORC. Не допускается
zlib
живой
No orcCompressionCodec:
ничего
zlib
snappy

ORC в качестве назначения

Следующие свойства поддерживаются в разделе назначения действия копирования при использовании формата ORC.

Имя Описание Значение Обязательное поле Свойство скрипта JSON
Формат файлов Формат файла, который требуется использовать. ORC Да type (under datasetSettings):
Орк
Тип сжатия Кодек сжатия, используемый для записи файлов ORC. Не допускается
zlib
живой
No orcCompressionCodec:
ничего
zlib
snappy
Максимальное количество строк на файл При записи данных в папку можно выбрать запись в несколько файлов и указать максимальные строки для каждого файла. Укажите максимальные строки, которые требуется записать для каждого файла. <максимальное количество строк на файл> No maxRowsPerFile
Префикс имени файла Применимо, если настроены максимальные строки для каждого файла . Оно задает префикс, добавляемый к имени файла при записи данных с разбиением на несколько файлов. Имя присваивается по следующему шаблону: <fileNamePrefix>_00000.<fileExtension>. Если имя файла не указано, префикс имени файла создается автоматически. Это свойство не применяется, если источник является хранилищем на основе файлов или включенным параметром секции хранилища данных. <префикс имени файла> No fileNamePrefix