Настройка Хранилище BLOB-объектов Azure в действии копирования

В этой статье описывается, как использовать действие копирования в конвейере данных для копирования данных из Хранилище BLOB-объектов Azure.

Поддерживаемые форматы

Хранилище BLOB-объектов Azure поддерживает следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

• Формат Avro
• Двоичный формат
• Формат текста с разделителями
• Формат Excel
• Формат JSON
• Формат ORC
• Формат Parquet
• ФОРМАТ XML

Поддерживаемая конфигурация

Для настройки каждой вкладки в действии копирования перейдите к следующим разделам соответственно.

• Общие сведения
• Источник
• Назначение
• Сопоставление
• Параметры

Общие

Ознакомьтесь с руководством по общим параметрам, чтобы настроить вкладку "Общие параметры".

Оригинал

Следующие свойства поддерживаются для Хранилище BLOB-объектов Azure на вкладке "Источник" действия копирования.

Требуются следующие свойства:

• Тип хранилища данных: выберите "Внешний".
• Подключение ion: выберите подключение Хранилище BLOB-объектов Azure из списка подключений. Если подключение отсутствует, создайте новое Хранилище BLOB-объектов Azure подключение, нажав кнопку "Создать".
• Путь к файлу: нажмите кнопку "Обзор" , чтобы выбрать файл, который требуется скопировать, или указать путь вручную.
• Параметры файла: выберите параметры файла, чтобы настроить формат файла. Сведения о параметрах различных форматов файлов см. в статьях в поддерживаемом формате .

В разделе "Дополнительно" можно указать следующие поля:

• Тип пути к файлу: можно выбрать путь к файлу, префикс, Wild карта путь к файлу, список файлов в качестве типа пути к файлу. Конфигурация каждого параметра:

  • Путь к файлу. Если выбрать этот тип, данные можно скопировать из заданного контейнера или папки или пути к файлу, указанному ранее.

  • Префикс: префикс для имени большого двоичного объекта под заданным контейнером, настроенным для фильтрации исходных BLOB-объектов. Выбираются BLOB-объекты, имена которых начинаются с container/this_prefix. Он использует фильтр на стороне службы для хранилища BLOB-объектов.

    При использовании префикса и выбора копирования в место назначения на основе файлов с сохранением иерархии подпуть после последнего "/" в префиксе сохраняется. Например, у вас есть источник container/folder/subfolder/file.txtи настройка префикса как folder/sub, а затем сохраненный путь к subfolder/file.txtфайлу.

    

  • Путь к файлу wild карта: укажите папку или путь к файлу с помощью диких карта символов в контейнере BLOB-объектов для фильтрации исходных папок или файлов.

    Допустимые подстановочные знаки: * (соответствует нулю или нескольким символам) и ? (соответствует нулю или одному символу). Используйте ^ для экранирования знаков, если имя папки содержит подстановочный знак или этот escape-символ. Дополнительные примеры см. в примерах фильтров папок и файлов.

    

    Путь к папке wild карта: укажите путь к папке с дикими карта символами в заданном контейнере для фильтрации исходных папок.

    Wild карта имя файла: укажите имя файла с дикими карта символами в заданном контейнере и пути к папке (или путь к папке wild карта), чтобы отфильтровать исходные файлы.

  • Список файлов: указывает заданный набор файлов для копирования. В списке путей к файлу введите или перейдите к текстовому файлу, включающее список файлов, которые нужно скопировать, один файл на строку, который является относительным путем к каждому файлу.

    При использовании этого параметра не указывайте имя файла. Дополнительные примеры см. в примерах списка файлов.

    

• Рекурсивно: если выбран этот проверка box, все файлы во входной папке и ее вложенных папках обрабатываются рекурсивно. Если вы отмените выбор проверка box, обрабатываются только те, которые находятся в выбранной папке. Этот параметр отключен при выборе одного файла.

• Удаление файлов после завершения. Если выбран этот проверка box, двоичные файлы удаляются из исходного хранилища после успешного перехода в целевое хранилище. Удаление файла выполняется для каждого файла, поэтому при сбое действия копирования вы заметите, что некоторые файлы уже скопированы в место назначения и удалены из источника, а другие по-прежнему остаются в исходном хранилище.

  Примечание.

  Это свойство допустимо только в сценарии копирования двоичных файлов.

• Максимальное число одновременных подключений: это свойство указывает верхний предел параллельных подключений, установленных в хранилище данных во время выполнения действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.

Назначение

Следующие свойства поддерживаются для Хранилище BLOB-объектов Azure на вкладке "Назначение" действия копирования.

Требуются следующие свойства:

• Тип хранилища данных: выберите "Внешний".
• Подключение ion: Выберите Хранилище BLOB-объектов Azure подключение из списка подключений. Если подключение не существует, создайте новое подключение Хранилище BLOB-объектов Azure, нажав кнопку "Создать".
• Путь к файлу: нажмите кнопку "Обзор" , чтобы выбрать файл, который требуется скопировать или заполнить путь вручную.
• Параметры файла: выберите параметры файла, чтобы настроить формат файла. Сведения о параметрах различных форматов файлов см. в статьях в поддерживаемом формате .

В разделе "Дополнительно" можно указать следующие поля:

• Поведение копирования: определяет поведение копирования, если источник является файлами из файлового хранилища данных. Вы можете выбрать "Добавить динамическое содержимое", "None", "FlattenHierarchy" или "Сохранить иерархию" в раскрывающемся списке.

  • Добавление динамического содержимого. Чтобы указать выражение для значения свойства, выберите " Добавить динамическое содержимое". Этот выбор открывает построитель выражений, где можно создавать выражения из поддерживаемых системных переменных, выходных данных действий, функций и пользовательских переменных или параметров. Для получения сведений о языке выражений перейдите к выражениям и функциям.

  • Нет. Выберите этот выбор, чтобы не использовать поведение копирования.

  • Неструктурированный иерархия: все файлы из исходной папки находятся на первом уровне целевой папки. У целевых файлов есть автоматически созданные имена.

  • Сохранение иерархии: сохраняет иерархию файлов в целевой папке. Относительный путь исходного файла в исходной папке идентичен относительному пути целевого файла в целевой папке.

    

• Максимальное число одновременных подключений: верхний предел одновременных подключений, установленных в хранилище данных во время выполнения действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.

• Размер блока (МБ): укажите размер блока в мегабайтах, используемый для записи данных в блочные BLOB-объекты. Дополнительные сведения см. в раздел "О блочных BLOB-объектах".

• Метаданные: задайте пользовательские метаданные при копировании в место назначения. Каждый объект в массиве metadata представляет дополнительный столбец. name определяет имя ключа метаданных, а value указывает значение данных этого ключа. Если используется функция сохранения атрибутов, указанныеметаданные будут объединять или перезаписывать с метаданными исходного файла.

  Допустимые значения:

  • $$LASTMODIFIED: зарезервированная переменная указывает на сохранение времени последнего изменения исходных файлов. Она применяется к файловому источнику, который может быть только в двоичном формате.

  • Выражение

  • Статическое значение

    

Сопоставление

Чтобы настроить конфигурацию вкладки "Сопоставление ", перейдите к разделу "Настройка сопоставлений" на вкладке сопоставления. Если в качестве формата файла выбран двоичный файл, сопоставление не будет поддерживаться.

Настройки

Сведения о конфигурации вкладки Параметры см. в разделе "Настройка других параметров" на вкладке "Параметры".

Сводка таблицы

В следующих таблицах содержатся дополнительные сведения о действии копирования в Хранилище BLOB-объектов Azure.

Сведения об источнике

Имя	Описание	Значение	Обязательное поле	Свойство скрипта JSON
Тип хранилища данных	Тип хранилища данных.	Внешний	Да	/
Соединение	Подключение к исходному хранилищу данных.	<подключение>	Да	подключение
Путь к файлу	Путь к файлу исходных данных.	<путь к файлу источника>	Да	Контейнер fileName
Тип пути к файлу	Тип пути к файлу, который требуется использовать.	• Путь к файлу •Префикс • Путь к папке wild карта, Wild карта имя файла • Список файлов	No	•Префикс • wild карта FolderPath, wild карта FileName • fileListPath
Рекурсивно	Обработайте все файлы во входной папке и ее вложенных папках рекурсивно или просто те, которые в выбранной папке. Этот параметр отключен при выборе одного файла.	Выбранный или отмена выбора	No	recursive
Удаление файлов после завершения	Файлы в исходном хранилище данных будут удалены сразу после перемещения в целевое хранилище. Удаление файла выполняется для каждого файла, поэтому при сбое действия копирования можно сказать, что некоторые файлы уже скопированы в место назначения и удалены из источника, а другие остаются в исходном хранилище.	Выбранный или отмена выбора	No	deleteFilesAfterCompletion
Максимальное число одновременных подключений	Верхний предел одновременных подключений, установленных для хранилища данных при выполнении действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.	<максимальное число одновременных подключений>	No	maxConcurrentConnections

Сведения о назначении

Имя	Описание	Значение	Обязательное поле	Свойство скрипта JSON
Тип хранилища данных	Тип хранилища данных.	Внешний	Да	/
Соединение	Подключение к целевому хранилищу данных.	<подключение>	Да	подключение
Путь к файлу	Путь к файлу целевых данных.	Путь к файлу источника	Да	Контейнер fileName
Поведение копирования	Определяет поведение при копировании файлов из одной файловой системы, например хранилища, в другую (например, из одного хранилища BLOB-объектов в другое).	•Ни один • Добавление динамического содержимого • Плоская иерархия • Сохранение иерархии	No	copyBehavior
Максимальное число одновременных подключений	Верхний предел одновременных подключений, установленных для хранилища данных при выполнении действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.	<максимальное число одновременных подключений>	No	maxConcurrentConnections
Размер блока (МБ)	Укажите размер блока в МБ при записи данных в Хранилище BLOB-объектов Azure. Допустимое значение — от 4 до 100 МБ.	<Размер блока>	No	blockSizeInMB
Метаданные	Задайте пользовательские метаданные при копировании в место назначения.	• $$LASTMODIFIED •Выражение • Статическое значение	No	metadata

Связанный контент

• Настройка подключения Хранилище BLOB-объектов Azure