Массовое копирование из файлов в базу данных

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

В этой статье описан шаблон решения, который можно использовать для массового копирования данных из Azure Data Lake Storage 2-го поколения в Azure Synapse Analytics или базу данных SQL Azure.

Информация о шаблоне решения

Этот шаблон извлекает файлы из источника Azure Data Lake Storage 2-го поколения. Затем он выполняет итерацию по каждому файлу в источнике и копирует файл в целевое хранилище данных.

Сейчас этот шаблон поддерживает копирование данных только в формате DelimitedText. Файлы в других форматах данных также можно получить из исходного хранилища данных, но их нельзя скопировать в целевое хранилище данных.

Шаблон состоит из трех действий.

  • Действие Get Metadata извлекает файлы из Azure Data Lake Storage 2-го поколения и передает их следующему действию ForEach.
  • Действие ForEach получает файлы из действия Get Metadata и выполняет итерацию каждого файла для действия Copy.
  • Действие Copy размещается в действии ForEach и копирует каждый файл из исходного хранилища данных в целевое хранилище данных.

Шаблон определяет два параметра:

  • SourceContainer — это путь к корневому контейнеру, из которого данные копируются в Azure Data Lake Storage 2-го поколения.
  • SourceDirectory — это путь к каталогу в корневом контейнере, из которого данные копируются в Azure Data Lake Storage 2-го поколения.

Использование шаблона решения

  1. Перейдите к шаблону Массовое копирование из файлов в базу данных. Выберите Создать, чтобы создать подключение к исходному хранилищу 2-го поколения. Имейте в виду, что GetMetadataDataset и SourceDataset — это ссылки на одно и то же подключение к исходному хранилищу файлов.

    Create a new connection to the source data store

  2. Выберите Создать, чтобы создать подключение к хранилищу данных — приемнику, в который вы копируете данные.

    Create a new connection to the sink data store

  3. Щелкните Использовать этот шаблон.

    Use this template

  4. Вы увидите созданный конвейер, как показано в следующем примере:

    Review the pipeline

    Примечание

    Если на шаге 2 в качестве назначения данных выбрано Azure Synapse Analytics, необходимо ввести подключение к хранилищу BLOB-объектов Azure для промежуточного хранения в соответствии с требованиями Azure Synapse Analytics Polybase. Как показано на следующем снимке экрана, шаблон автоматически создаст Путь к хранилищу для хранилища BLOB-объектов. Проверьте, создан ли контейнер, после выполнения конвейера.

    Polybase setting

  5. Выберите Отладка, введите Параметры, а затем нажмите Готово.

    Click **Debug**

  6. После успешного выполнения конвейера отобразятся результаты, аналогичные приведенным в следующем примере:

    Review the result

Дальнейшие действия