Прием данных в хранилище с помощью конвейеров данных

Статья
11/15/2023

Область применения: хранилище в Microsoft Fabric

Конвейеры данных предлагают альтернативу использованию команды COPY через графический пользовательский интерфейс. Конвейер данных — это логическая группировка действий, которые вместе выполняют задачу приема данных. Конвейеры позволяют управлять действиями извлечения, преобразования и загрузки (ETL), а не управлять каждым из них по отдельности.

В этом руководстве вы создадите новый конвейер, который загружает примеры данных в хранилище в Microsoft Fabric.

Примечание.

Некоторые функции из Фабрика данных Azure недоступны в Microsoft Fabric, но концепции взаимозаменяемы. Дополнительные сведения о Фабрика данных Azure и конвейерах в конвейерах и действиях см. в Фабрика данных Azure и Azure Synapse Analytics. Краткое руководство см. в кратком руководстве . Создание первого конвейера для копирования данных.

Создание конвейера данных

Чтобы создать конвейер, перейдите к рабочей области, нажмите кнопку +Создать и выберите конвейер данных.
В диалоговом окне "Создать конвейер" укажите имя нового конвейера и нажмите кнопку "Создать".
Вы перейдете в область холста конвейера, где вы увидите три варианта начала работы: добавление действия конвейера, копирование данных и выбор задачи для запуска.

Каждый из этих вариантов предлагает различные альтернативные варианты для создания конвейера:
- Добавление действия конвейера: этот параметр запускает редактор конвейера, где можно создавать новые конвейеры с нуля с помощью действий конвейера.
- Копирование данных: этот параметр запускает пошаговые помощник, помогающие выбрать источник данных, назначение и настроить параметры загрузки данных, такие как сопоставления столбцов. При завершении создается новое действие конвейера с задачей копирования данных, уже настроенной для вас.
- Выберите задачу для запуска: этот параметр запускает набор предопределенных шаблонов, которые помогут вам приступить к работе с конвейерами на основе различных сценариев.
Выберите параметр "Копировать данные", чтобы запустить помощник копирования.
Первая страница помощник копирования данных помогает выбрать собственные данные из различных источников данных или выбрать один из предоставленных примеров, чтобы приступить к работе. В этом руководстве мы будем использовать пример COVID-19 Data Lake . Выберите этот параметр и нажмите кнопку "Далее".
На следующей странице можно выбрать набор данных, формат исходного файла и просмотреть выбранный набор данных. Выберите Bing COVID-19, формат CSV и нажмите кнопку "Далее".
На следующей странице назначения данных можно настроить тип целевой рабочей области. Мы загрузим данные в хранилище в нашей рабочей области, поэтому выберите вкладку "Хранилище" и параметр "Хранилище данных". Выберите Далее.
Теперь пришло время выбрать хранилище для загрузки данных. Выберите требуемое хранилище в раскрывающемся списке и нажмите кнопку "Далее".
Последним шагом настройки назначения является указание имени целевой таблицы и настройка сопоставлений столбцов. Здесь можно загрузить данные в новую таблицу или в существующую, указать имена схем и таблиц, изменить имена столбцов, удалить столбцы или изменить их сопоставления. Вы можете принять значения по умолчанию или настроить параметры в соответствии с вашими предпочтениями.

После завершения проверки параметров нажмите кнопку "Далее".
На следующей странице вы можете использовать промежуточный режим или предоставить дополнительные параметры для операции копирования данных (которая использует команду T-SQL COPY). Просмотрите параметры без их изменения и нажмите кнопку "Далее".
Последняя страница в помощник содержит сводку действия копирования. Выберите параметр "Запустить передачу данных немедленно " и нажмите кнопку "Сохранить и запустить".
Вы направляетесь в область холста конвейера, где для вас уже настроено новое действие копирования данных. Конвейер запускается автоматически. Состояние конвейера можно отслеживать в области вывода :
Через несколько секунд конвейер успешно завершится. Переход к хранилищу позволяет выбрать таблицу для предварительного просмотра данных и убедиться, что операция копирования завершена.