Настройка Хранилище BLOB-объектов Azure в действии копирования

В этой статье описывается, как использовать действие копирования в конвейере данных для копирования данных из и в Хранилище BLOB-объектов Azure.

Важно!

Microsoft Fabric в настоящее время находится на этапе предварительной версии. Эта информация относится к предварительной версии продукта, который может быть существенно изменен перед выпуском. Корпорация Майкрософт не дает никаких гарантий, явных или подразумеваемых, в отношении информации, представленной здесь. См. Фабрика данных Azure документацию по службе в Azure.

Поддерживаемые форматы

Хранилище BLOB-объектов Azure поддерживает следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

• Формат Avro
• Двоичный формат
• Формат текста с разделителями
• Формат Excel
• Формат JSON
• Формат ORC
• Формат Parquet
• Формат XML

Поддерживаемая конфигурация

Чтобы настроить каждую вкладку в действии копирования, перейдите к следующим разделам соответственно.

• Общие сведения
• Источник
• Назначение
• Сопоставление
• Параметры

Общие сведения

Сведения о настройке вкладки Общие параметры см. в руководстве по общим параметрам.

Источник

Следующие свойства поддерживаются для Хранилище BLOB-объектов Azure на вкладке Источник действия копирования.

Требуются следующие свойства:

• Тип хранилища данных: выберите Внешний.
• Подключение. Выберите Хранилище BLOB-объектов Azure подключение в списке подключений. Если подключение не существует, создайте новое подключение Хранилище BLOB-объектов Azure, нажав кнопку Создать.
• Путь к файлу. Нажмите кнопку Обзор , чтобы выбрать файл, который требуется скопировать, или введите путь вручную.
• Параметры файла. Выберите Параметры файла, чтобы настроить формат файла. Дополнительные сведения о параметрах различных форматов файлов см. в статьях о поддерживаемом формате .

В разделе Дополнительно можно указать следующие поля:

• Тип пути к файлу. В качестве типа пути к файлу можно выбрать Путь к файлу, Префикс, Путь к файлу с подстановочными знаками, Список файлов . Конфигурация каждого параметра:

  • Путь к файлу. Если выбран этот тип, данные можно скопировать из указанного контейнера или папки или пути к файлу, указанного ранее.

  • Префикс: префикс для имени большого двоичного объекта в заданном контейнере, настроенного для фильтрации исходных BLOB-объектов. Выбираются BLOB-объекты, имена которых начинаются с container/this_prefix. Он использует фильтр на стороне службы для хранилища BLOB-объектов.

    При использовании префикса и выборе копирования в файловое назначение с сохранением иерархии сохраняется вложенный путь после последнего "/" в префиксе. Например, у вас есть источник container/folder/subfolder/file.txtи настройте префикс как folder/sub, а сохраненный путь к файлу — subfolder/file.txt.

    

  • Путь к файлу с подстановочными знаками. Укажите путь к папке или файлу с подстановочными знаками в заданном контейнере больших двоичных объектов, чтобы отфильтровать исходные папки или файлы.

    Допустимые подстановочные знаки: * (соответствует нулю или нескольким символам) и ? (соответствует нулю или одному символу). Используйте ^ для экранирования знаков, если имя папки содержит подстановочный знак или этот escape-символ. Дополнительные примеры см. в разделе Примеры фильтров папок и файлов.

    

    Путь к папке с подстановочными знаками. Укажите путь к папке с подстановочными знаками в заданном контейнере для фильтрации исходных папок.

    Имя файла с подстановочными знаками. Укажите имя файла с подстановочными знаками в заданном контейнере и пути к папке (или путь к папке с подстановочными знаками) для фильтрации исходных файлов.

  • Список файлов: указывает заданный набор файлов для копирования. В поле Путь к списку файлов введите или перейдите к текстовому файлу, который содержит список файлов, которые нужно скопировать, по одному файлу в строке, что является относительным путем к каждому файлу.

    При использовании этого параметра не указывайте имя файла. Дополнительные примеры см. в разделе Примеры списка файлов.

    

• Рекурсивно. Если этот флажок установлен, все файлы во входной папке и ее вложенных папках обрабатываются рекурсивно. Если снять флажок, обрабатываются только те, которые находятся в выбранной папке. Этот параметр отключается при выборе одного файла.

• Удалить файлы после завершения. Если этот флажок установлен, двоичные файлы удаляются из исходного хранилища после успешного перемещения в целевое хранилище. Удаление файлов выполняется для каждого файла, поэтому при сбое действия копирования вы заметите, что некоторые файлы уже были скопированы в место назначения и удалены из источника, а другие остаются в исходном хранилище.

  Примечание

  Это свойство допустимо только в сценарии копирования двоичных файлов.

• Максимальное количество одновременных подключений. Это свойство указывает верхний предел одновременных подключений, установленных к хранилищу данных во время выполнения действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.

Назначение

Следующие свойства поддерживаются для Хранилище BLOB-объектов Azure на вкладке Назначение действия копирования.

Требуются следующие свойства:

• Тип хранилища данных: Выберите Внешний.
• Подключения: Выберите Хранилище BLOB-объектов Azure подключение в списке подключений. Если подключение не существует, создайте новое подключение Хранилище BLOB-объектов Azure, нажав кнопку Создать.
• Путь к файлу: Нажмите кнопку Обзор , чтобы выбрать файл, который нужно скопировать или указать путь вручную.
• Параметры файла. Выберите Параметры файла, чтобы настроить формат файла. Дополнительные сведения о параметрах различных форматов файлов см. в статьях о поддерживаемом формате .

В разделе Дополнительно можно указать следующие поля:

• Поведение копирования. Определяет поведение копирования, если источником являются файлы из файлового хранилища данных. В раскрывающемся списке можно выбрать Добавить динамическое содержимое, Нет, FlattenHierarchy или Сохранить иерархию .

  • Добавить динамическое содержимое. Чтобы указать выражение для значения свойства, выберите Добавить динамическое содержимое. Этот выбор открывает построитель выражений, где можно создавать выражения из поддерживаемых системных переменных, выходных данных действий, функций и пользовательских переменных или параметров. Дополнительные сведения о языке выражений см. в разделе Выражения и функции.

  • Нет. Выберите этот вариант, чтобы не использовать поведение копирования.

  • Плоская иерархия. Все файлы из исходной папки находятся на первом уровне конечной папки. Целевые файлы имеют автоматически созданные имена.

  • Сохранить иерархию. Сохраняет иерархию файлов в целевой папке. Относительный путь исходного файла в исходной папке идентичен относительному пути целевого файла в целевой папке.

    

• Максимальное число одновременных подключений. Верхний предел одновременных подключений, установленных к хранилищу данных во время выполнения действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.

• Размер блока (МБ): укажите размер блока в мегабайтах, используемый для записи данных в блочные BLOB-объекты. Дополнительные сведения см. в разделе Сведения о блочных BLOB-объектах.

• Метаданные. Настройка пользовательских метаданных при копировании в место назначения. Каждый объект в массиве metadata представляет дополнительный столбец. name определяет имя ключа метаданных, а value указывает значение данных этого ключа. Если используетсяфункция сохранения атрибутов , указанные метаданные будут объединяться или перезаписывать метаданными исходного файла.

  Допустимые значения:

  • $$LASTMODIFIED: зарезервированная переменная указывает на сохранение времени последнего изменения исходных файлов. Она применяется к файловому источнику, который может быть только в двоичном формате.

  • Выражение

  • Статическое значение

    

Сопоставление

Сведения о конфигурации вкладки "Сопоставление " см. в разделе Настройка сопоставлений на вкладке "Сопоставление". Если в качестве формата файла выбран двоичный формат, сопоставление не будет поддерживаться.

Параметры

Сведения о конфигурации вкладки "Параметры" см. в разделе Настройка других параметров на вкладке "Параметры".

Сводка таблицы

В следующих таблицах содержатся дополнительные сведения о действии копирования в Хранилище BLOB-объектов Azure.

Сведения об источнике

Имя	Описание	Значение	Обязательно	Свойство скрипта JSON
Тип хранилища данных	Тип хранилища данных.	Внешний	Да	/
Соединение	Подключение к исходному хранилищу данных.	<подключение>	Да	подключение
Путь к файлу	Путь к файлу исходных данных.	<путь к исходному файлу>	Да	контейнер fileName
Тип пути к файлу	Тип пути к файлу, который вы хотите использовать.	• Путь к файлу •Префикс • Путь к папке с подстановочными знаками, имя файла с подстановочными знаками • Список файлов	Нет	•Префикс • wildcardFolderPath, wildcardFileName • fileListPath
Рекурсивно	Рекурсивная обработка всех файлов во входной папке и ее вложенных папках или только файлов в выбранной папке. Этот параметр отключается при выборе одного файла.	Выбрано или снято выделение	Нет	recursive
Удаление файлов после завершения	Файлы из исходного хранилища данных будут удалены сразу после перемещения в целевое хранилище. Удаление файлов выполняется для каждого файла, поэтому при сбое действия копирования вы заметите, что некоторые файлы уже были скопированы в место назначения и удалены из источника, а другие все еще находятся в исходном хранилище.	Выбрано или снято выделение	Нет	deleteFilesAfterCompletion
Максимальное число одновременных подключений	Верхний предел одновременных подключений, установленных для хранилища данных при выполнении действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.	<максимальное количество одновременных подключений>	Нет	maxConcurrentConnections

Сведения о назначении

Имя	Описание	Значение	Обязательно	Свойство скрипта JSON
Тип хранилища данных	Тип хранилища данных.	Внешний	Да	/
Соединение	Подключение к целевому хранилищу данных.	<подключение>	Да	подключение
Путь к файлу	Путь к файлу целевых данных.	Путь к файлу источника	Да	контейнер fileName
Поведение копирования	Определяет поведение при копировании файлов из одной файловой системы, например из хранилища, в другую (например, из одного хранилища BLOB-объектов в другое).	•Ни один • Добавление динамического содержимого • Плоская иерархия • Сохранение иерархии	Нет	copyBehavior
Максимальное число одновременных подключений	Верхний предел одновременных подключений, установленных для хранилища данных при выполнении действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.	<максимальное количество одновременных подключений>	Нет	maxConcurrentConnections
Размер блока (МБ)	Укажите размер блока в МБ при записи данных в Хранилище BLOB-объектов Azure. Допустимое значение — от 4 до 100 МБ.	<Размер блока>	Нет	blockSizeInMB
Метаданные	Задайте пользовательские метаданные при копировании в место назначения.	• $$LASTMODIFIED •Выражение • Статическое значение	нет	метаданные

Дальнейшие действия

• Создание подключения к BLOB-объектам Azure
• Подключение к Хранилище BLOB-объектов Azure в потоках данных]