Краткое руководство. Перемещение и преобразование данных с помощью потоков данных и конвейеров данных
В этом руководстве вы узнаете, как поток данных и конвейер данных могут создать мощное и комплексное решение фабрики данных.
Важно!
Microsoft Fabric в настоящее время находится на этапе предварительной версии. Эта информация относится к предварительной версии продукта, который может быть существенно изменен перед выпуском. Корпорация Майкрософт не дает никаких гарантий, явных или подразумеваемых, в отношении информации, представленной здесь. См. Фабрика данных Azure документацию по службе в Azure.
Предварительные требования
Чтобы приступить к работе, необходимо выполнить следующие предварительные требования:
- Учетная запись клиента с активной подпиской. Создайте бесплатную учетную запись.
- Убедитесь, что у вас включена рабочая область Microsoft Fabric. Создайте рабочую область , которая не является используемой по умолчанию моей рабочей областью.
- База данных Azure SQL с табличными данными.
- Учетная запись хранилища BLOB-объектов.
Преобразование данных с помощью потоков данных
Выполните следующие действия, чтобы настроить поток данных.
Шаг 1. Создание потока данных
Выберите рабочую область с поддержкой Fabric и нажмите кнопку Создать. Затем выберите Поток данных 2-го поколения.
Откроется окно редактора потока данных. Выберите карта Импорт из SQL Server.
Шаг 2. Получение данных
В диалоговом окне Подключение к источнику данных введите сведения о подключении к базе данных Azure SQL, а затем нажмите кнопку Далее. В этом примере используется пример базы данных AdventureWorksLT, настроенный при настройке базы данных Azure SQL в предварительных требованиях.
Выберите данные, которые вы хотите преобразовать, и нажмите кнопку Создать. В этом кратком руководстве выберите SalesLT.Customer из примера данных AdventureWorksLT, предоставленных для базы данных Azure SQL, а затем нажмите кнопку Выбрать связанные таблицы, чтобы автоматически включить две другие связанные таблицы.
Шаг 3. Преобразование данных
Если он не выбран, нажмите кнопку Представление диаграммы в строке состояния в нижней части страницы или выберите Представление схемы в меню Вид в верхней части редактора Power Query. Любой из этих параметров может переключить представление схемы.
Щелкните правой кнопкой мыши запрос SalesLT Customer или щелкните вертикальное многоточие справа от запроса, а затем выберите Объединить запросы.
Настройте слияние, выбрав таблицу SalesOrderHeader в качестве правой таблицы для слияния, столбец CustomerID из каждой таблицы в качестве столбца соединения и левый внешний тип соединения. Затем нажмите кнопку ОК при добавлении запроса на слияние.
Нажмите кнопку Добавить назначение данных , которая выглядит как символ базы данных со стрелкой над ним, в новом запросе на слияние, который вы только что создали. Затем выберите Azure SQL базу данных в качестве типа назначения.
Укажите сведения о подключении к базе данных Azure SQL, в которой будет опубликован запрос на слияние. В этом примере можно использовать базу данных AdventureWorksLT , которую мы использовали в качестве источника данных для назначения.
Выберите базу данных для хранения данных и укажите имя таблицы, а затем нажмите кнопку Далее.
Вы можете оставить параметры по умолчанию в диалоговом окне Выбор параметров назначения и просто выбрать Сохранить параметры , не внося никаких изменений.
Выберите Опубликовать на странице редактора потока данных, чтобы опубликовать поток данных.
Перемещение данных с помощью конвейеров данных
Теперь, когда вы создали поток данных 2-го поколения, вы можете работать с ним в конвейере. В этом примере мы скопируем данные, созданные из потока данных, в текстовый формат в учетной записи Хранилище BLOB-объектов Azure.
Шаг 1. Создание нового конвейера данных
В рабочей области выберите Создать, а затем — Конвейер данных.
Присвойте конвейеру имя, а затем выберите Создать.
Шаг 2. Настройка потока данных
Добавьте новое действие потока данных в конвейер данных, выбрав Поток данных на вкладке Действия .
Выберите поток данных на холсте конвейера, а затем перейдите на вкладку Параметры . Выберите созданный ранее поток данных в раскрывающемся списке.
Выберите Сохранить, а затем Выполнить , чтобы запустить поток данных для первоначального заполнения объединенной таблицы запросов, созданной на предыдущем шаге.
Шаг 3. Добавление действия копирования с помощью помощника по копированию
Выберите Копировать данные на холсте, чтобы открыть помощник по копированию для начала работы. Или выберите Использовать помощник по копированию в раскрывающемся списке Копировать данные на вкладке Действия на ленте.
Выберите источник данных, выбрав тип источника данных. В этом руководстве вы будете использовать базу данных Azure SQL, которая использовалась ранее при создании потока данных, для создания нового запроса на слияние. Прокрутите вниз под примерами предложений данных и выберите вкладку Azure в разделе Источники данных, а затем Azure SQL База данных. Нажмите кнопку Далее, чтобы продолжить.
Создайте подключение к источнику данных, выбрав Создать подключение. Введите необходимые сведения о подключении на панели и введите AdventureWorksLT для базы данных, в которой мы создали запрос на слияние в потоке данных. Нажмите кнопку Далее.
Выберите таблицу, созданную ранее на шаге потока данных, и нажмите кнопку Далее.
В поле назначения выберите Хранилище BLOB-объектов Azure, а затем нажмите кнопку Далее.
Создайте подключение к месту назначения, выбрав Создать новое подключение. Укажите сведения о подключении, а затем нажмите кнопку Далее.
Выберите путь к папке и укажите имя файла, а затем нажмите кнопку Далее.
Нажмите кнопку Далее еще раз, чтобы принять формат файла по умолчанию, разделитель столбцов, разделитель строк и тип сжатия, при необходимости включая заголовок.
Завершите настройку параметров. Затем просмотрите и нажмите кнопку ОК , чтобы завершить процесс.
Шаг 5. Проектирование конвейера данных и сохранение для запуска и загрузки данных
Чтобы запустить действие Копирования после действия Потока данных , перетащите элемент Из успешного действия потока данных в действие Копирование . Действие Копирования будет выполняться только после успешного выполнения действия Потока данных .
Нажмите кнопку Сохранить , чтобы сохранить конвейер данных. Затем нажмите кнопку Выполнить , чтобы запустить конвейер данных и загрузить данные.
Планирование выполнения конвейера
Завершив разработку и тестирование конвейера, вы можете запланировать его автоматическое выполнение.
На вкладке Главная окна редактора конвейера выберите Расписание.
Настройте расписание по мере необходимости. В этом примере конвейер будет выполняться ежедневно в 20:00 до конца года.
Дальнейшие действия
В этом примере показано, как создать и настроить поток данных 2-го поколения, чтобы создать запрос на слияние и сохранить его в базе данных Azure SQL, а затем скопировать данные из базы данных в текстовый файл в Хранилище BLOB-объектов Azure. Вы ознакомились с выполнением следующих задач:
- Создание потока данных.
- Преобразование данных с помощью потока данных.
- Создайте конвейер данных с помощью потока данных.
- Упорядочение выполнения шагов в конвейере.
- Копирование данных с помощью помощника по копированию.
- Запустите и запланируйте конвейер данных.
Затем перейдите к дополнительным сведениям о мониторинге выполнения конвейера.