Поделиться через


Двоичный формат для Data Factory в Microsoft Fabric

В этой статье описывается настройка двоичного формата в фабрике данных.

Поддерживаемые возможности

Двоичный формат поддерживается для следующих операций и коннекторов в качестве источника и назначения.

Категория Соединитель или действие
Поддерживаемый соединитель Amazon S3
Совместимая с Amazon S3
Хранилище BLOB-объектов Azure
Azure Data Lake Storage 2-го поколения
Файлы Azure
Файловая система
FTP
Google Cloud Storage
HTTP
Lakehouse Files
Хранилище Oracle Cloud
SFTP
Поддерживаемая активность Действие копирования (источник или назначение)
Активность получения метаданных
Удаление действия

Двоичный формат в операции копирования

Чтобы настроить формат Binary, выберите подключение в исходном или целевом расположении действия копирования в конвейере, а затем выберите Binary в раскрывающемся списке формата файла. Выберите параметры для дальнейшей настройки этого формата.

Снимок экрана: кнопка

Примечание.

При использовании двоичного формата в действии копирования источник и назначение должны использовать двоичный формат.

Двоичный в качестве источника

После выбора Параметры в разделе Формат файла на вкладке Источник, в диалоговом окне "Параметры формата файла" отображаются следующие свойства.

Снимок экрана: параметры формата файла.

  • Тип сжатия: кодек сжатия, используемый для чтения двоичных файлов. Вы можете выбрать тип None, bzip2, gzip, deflate, ZipDeflate, TarGzip или tar в раскрывающемся списке.

    Если выбрать ZipDeflate в качестве типа сжатия, сохраните имя ZIP-файла в виде папки в разделе "Дополнительные параметры" на вкладке "Источник ".

    • Сохраните имя ZIP-файла в виде папки: указывает, следует ли сохранять имя исходного ZIP-файла в виде структуры папок во время копирования.
      • Если этот флажок установлен (по умолчанию), служба записывает распакованные файлы в <specified file path>/<folder named as source zip file>/.
      • Если этот флажок снят, служба записывает распакованные файлы непосредственно в <specified file path>. Чтобы избежать непредвиденных ситуаций, убедитесь в том, что в разных исходных ZIP-файлах нет файлов с одинаковыми именами.

    Если выбрать TarGzip/tar в качестве типа сжатия, Показать имя файла сжатия как папку отображается в разделе "Дополнительные параметры" на вкладке "Источник".

    • Сохранение имени файла сжатия в виде папки: указывает, следует ли сохранять исходное сжатое имя файла в виде структуры папок во время копирования.
      • Если этот флажок установлен (по умолчанию), служба записывает распакованные файлы в <specified file path>/<folder named as source compressed file>/.
      • Если этот флажок снят, служба записывает распакованные файлы непосредственно в <specified file path>. Чтобы избежать непредвиденных ситуаций, убедитесь в том, что в разных исходных ZIP-файлах нет файлов с одинаковыми именами.
  • Уровень сжатия: коэффициент сжатия. Вы можете выбрать вариант "Оптимальный " или "Быстрый".

    • Самый быстрый: операция сжатия должна выполняться как можно быстрее, даже если результирующий файл не является оптимальным сжатием.
    • Optimal: операция сжатия должна выполняться оптимально, даже если для ее завершения требуется больше времени. Дополнительные сведения см. в статье «Уровень сжатия».

На вкладке "Дополнительные параметры" на вкладке "Источник " отображаются дополнительные свойства, связанные с двоичным форматом.

  • Удаление файлов после завершения. Указывает, удаляются ли двоичные файлы из исходного хранилища после успешного перехода в целевое хранилище. Удаление производится для каждого файла отдельно. Поэтому при сбое действия копирования некоторые файлы уже были скопированы в место назначения и удалены из источника, а другие по-прежнему остаются в исходном хранилище.

Двоичный в качестве назначения

После выбора Настройки в разделе Формат файла на вкладке Назначение, в всплывающем диалоговом окне Параметры формата файла отображаются следующие свойства.

Снимок экрана: выбор формата файла.

  • Тип сжатия: кодек сжатия, используемый для записи двоичных файлов. Вы можете выбрать тип None, bzip2, gzip, deflate, ZipDeflate, TarGzip или tar в раскрывающемся списке.

  • Уровень сжатия: коэффициент сжатия. Вы можете выбрать вариант "Оптимальный " или "Быстрый".

    • Самый быстрый: операция сжатия должна выполняться как можно быстрее, даже если результирующий файл не является оптимальным сжатием.
    • Optimal: операция сжатия должна выполняться оптимально, даже если для ее завершения требуется больше времени. Дополнительные сведения см. в статье «Уровень сжатия».

Сводка таблицы

Двоичный в качестве источника

Следующие свойства поддерживаются в разделе источника действия копирования при использовании двоичного формата.

Имя Описание Значение Обязательное поле Свойство скрипта JSON
Формат файлов Формат файла, который требуется использовать. Бинарный Да тип (под datasetSettings):
Бинарный
Тип сжатия Кодек сжатия, используемый для чтения двоичных файлов. Выберите из:
Не допускается
bzip2
gzip
сжимать
ZipDeflate
TarGzip
tar
Нет тип (под compression):

bzip2
gzip
сжатие (deflate)
ZipDeflate
TarGzip
tar
Уровень сжатия Коэффициент сжатия. Допустимые значения: оптимальный или самый быстрый. Оптимальный или быстрый Нет уровень (под compression):
Самый быстрый
Оптимально
Сохранение имени ZIP-файла в качестве папки Указывает, следует ли сохранять имя исходного ZIP-файла в виде структуры папок во время копирования. Выбрать или отменить выбор Нет preserveZipFileNameAsFolder (сохранитьИмяZipФайлаКакПапку)
(в разделе compressionProperties->type как ZipDeflateReadSettings)
Сохранение имени файла сжатия в виде папки Указывает, следует ли сохранять исходное сжатое имя файла в виде структуры папок во время копирования. Выбранный или отмена выбора Нет СохранитьИмяФайлаСжатияКакПапку
(в разделе compressionProperties->type как TarGZipReadSettings или TarReadSettings)
Удаление файлов после завершения Указывает, удаляются ли двоичные файлы из исходного хранилища после успешного перехода в целевое хранилище. Выбрать или отменить выбор Нет deleteFilesAfterCompletion:
истинный или ложный

Двоичный в качестве назначения

Следующие свойства поддерживаются в разделе Назначения действия копирования при использовании двоичного формата.

Имя Описание Значение Обязательное поле Свойство скрипта JSON
Формат файлов Формат файла, который требуется использовать. Бинарный Да тип (под datasetSettings):
Бинарный
Тип сжатия Кодек сжатия, используемый для записи двоичных файлов. Выберите из:
Не допускается
bzip2
gzip
сжимать
ZipDeflate
TarGzip
tar
Нет тип (под compression):

bzip2
gzip
сжатие (deflate)
ZipDeflate
TarGzip
tar
Уровень сжатия Коэффициент сжатия. Допустимые значения: оптимальный или самый быстрый. Оптимальный или быстрый Нет уровень (под compression):
Самый быстрый
Оптимально