Двоичный формат фабрики данных в Microsoft Fabric

В этой статье описывается настройка двоичного формата в фабрике данных.

Поддерживаемые возможности

Двоичный формат поддерживается для следующих действий и соединителей в качестве источника и назначения.

Категория Подключение or/Activity
Поддерживаемый соединитель Amazon S3
Хранилище BLOB-объектов Azure
Azure Data Lake Storage 1-го поколения
Azure Data Lake Storage 2-го поколения
Google Cloud Storage
HTTP
Поддерживаемая активность Действие копирования
Действие получения метаданных в Фабрике данных Azure
Действие удаления

Двоичный формат в действии копирования

Чтобы настроить двоичный формат, выберите подключение в источнике или назначении действия копирования конвейера данных, а затем выберите "Двоичный" в раскрывающемся списке формата файла. Выберите Параметры для дальнейшей настройки этого формата.

Screenshot showing file settings button.

Примечание.

При использовании двоичного формата в действии копирования источник и назначение должны использовать двоичный формат.

Двоичный файл в качестве источника

После выбора Параметры в разделе "Формат файла" на вкладке "Источник" в диалоговом окне "Параметры формата файла" отображаются следующие свойства.

Screenshot showing file format settings.

  • Тип сжатия: кодек сжатия, используемый для чтения двоичных файлов. Вы можете выбрать тип None, bzip2, gzip, deflate, ZipDeflate, TarGzip или tar в раскрывающемся списке.

    Если выбрать ZipDeflate в качестве типа сжатия, сохраните имя ZIP-файла в виде папки в разделе "Дополнительные параметры" на вкладке "Источник ".

    • Сохраните имя ZIP-файла в виде папки: указывает, следует ли сохранять имя исходного ZIP-файла в виде структуры папок во время копирования.
      • Если это поле проверка (по умолчанию), служба записывает распакуированные файлы <specified file path>/<folder named as source zip file>/в .
      • Если это поле не проверка, служба записывает распакуированные файлы непосредственно в <specified file path>. Чтобы избежать непредвиденных ситуаций, убедитесь в том, что в разных исходных ZIP-файлах нет файлов с одинаковыми именами.

    Если выбрать TarGzip/tar в качестве типа сжатия, сохраните имя файла сжатия в качестве папкив разделе "Дополнительные параметры" на вкладке "Источник ".

    • Сохранение имени файла сжатия в виде папки: указывает, следует ли сохранять исходное сжатое имя файла в виде структуры папок во время копирования.
      • Если это поле проверка (по умолчанию), служба записывает распакованные файлы <specified file path>/<folder named as source compressed file>/в .
      • Если это поле не проверка, служба записывает распакованные файлы непосредственно в <specified file path>. Чтобы избежать непредвиденных ситуаций, убедитесь в том, что в разных исходных ZIP-файлах нет файлов с одинаковыми именами.
  • Уровень сжатия: коэффициент сжатия. Вы можете выбрать вариант "Оптимальный " или "Быстрый".

    • Самый быстрый: операция сжатия должна выполняться как можно быстрее, даже если результирующий файл не является оптимальным сжатием.
    • Optimal: операция сжатия должна выполняться оптимально, даже если для ее завершения требуется больше времени. Дополнительные сведения см. встатье уровня сжатия.

На вкладке "Дополнительные параметры" на вкладке "Источник " отображаются дополнительные свойства, связанные с двоичным форматом.

  • Удаление файлов после завершения. Указывает, удаляются ли двоичные файлы из исходного хранилища после успешного перехода в целевое хранилище. Удаление файла равно каждому файлу. Поэтому при сбое действия копирования некоторые файлы уже были скопированы в место назначения и удалены из источника, а другие по-прежнему остаются в исходном хранилище.

Двоичный файл в качестве назначения

После выбора Параметры в разделе "Формат файла" на вкладке "Назначение" в диалоговом окне "Параметры формата файла" отображаются следующие свойства.

Screenshot showing selecting file format.

  • Тип сжатия: кодек сжатия, используемый для записи двоичных файлов. Вы можете выбрать тип None, bzip2, gzip, deflate, ZipDeflate, TarGzip или tar в раскрывающемся списке.

  • Уровень сжатия: коэффициент сжатия. Вы можете выбрать вариант "Оптимальный " или "Быстрый".

    • Самый быстрый: операция сжатия должна выполняться как можно быстрее, даже если результирующий файл не является оптимальным сжатием.
    • Optimal: операция сжатия должна выполняться оптимально, даже если для ее завершения требуется больше времени. Дополнительные сведения см. в статье уровня сжатия.

Сводка таблицы

Двоичный файл в качестве источника

Следующие свойства поддерживаются в разделе источника действия копирования при использовании двоичного формата.

Имя Описание Значение Обязательное поле Свойство скрипта JSON
Формат файлов Формат файла, который требуется использовать. Binary Да тип (под datasetSettings):
Binary
Тип сжатия Кодек сжатия, используемый для чтения двоичных файлов. Можно выбрать:
Не допускается
bzip2
Gzip
Deflate
ZipDeflate
TarGzip
Смолы
No тип (под compression):

bzip2
gzip
Deflate
ZipDeflate
TarGzip
tar
Уровень сжатия Коэффициент сжатия. Допустимые значения: оптимальный или самый быстрый. Оптимальный или быстрый No уровень (под compression):
Самый быстрый
Оптимально
Сохранение имени ZIP-файла в качестве папки Указывает, следует ли сохранять имя исходного ZIP-файла в виде структуры папок во время копирования. Выбранный или отмена выбора No preserveZipFileNameAsFolder
(в разделе compressionProperties->type как ZipDeflateReadSettings)
Сохранение имени файла сжатия в виде папки Указывает, следует ли сохранять исходное сжатое имя файла в виде структуры папок во время копирования. Выбранный или отмена выбора No preserveCompressionFileNameAsFolder
(в разделе compressionProperties->type как TarGZipReadSettings или TarReadSettings)
Удаление файлов после завершения Указывает, удаляются ли двоичные файлы из исходного хранилища после успешного перехода в целевое хранилище. Выбранный или отмена выбора No deleteFilesAfterCompletion:
true или false

Двоичный файл в качестве назначения

Следующие свойства поддерживаются в разделе назначения действия копирования при использовании двоичного формата.

Имя Описание Значение Обязательное поле Свойство скрипта JSON
Формат файлов Формат файла, который требуется использовать. Binary Да тип (под datasetSettings):
Binary
Тип сжатия Кодек сжатия, используемый для записи двоичных файлов. Можно выбрать:
Не допускается
bzip2
Gzip
Deflate
ZipDeflate
TarGzip
Смолы
No тип (под compression):

bzip2
gzip
Deflate
ZipDeflate
TarGzip
tar
Уровень сжатия Коэффициент сжатия. Допустимые значения: оптимальный или самый быстрый. Оптимальный или быстрый No уровень (под compression):
Самый быстрый
Оптимально