Использование потока данных в конвейере

В этом руководстве вы создадите конвейер данных для перемещения OData из источника Northwind в место назначения Lakehouse и отправки уведомления по электронной почте при завершении конвейера.

Необходимые компоненты

Чтобы приступить к работе, необходимо выполнить следующие предварительные требования:

• Убедитесь, что у вас есть рабочая область с поддержкой Microsoft Fabric, которая не является стандартной моей рабочей областью.

Создание Lakehouse

Чтобы начать, сначала необходимо создать лейкхаус. Lakehouse — это озеро данных, оптимизированное для аналитики. В этом руководстве вы создадите lakehouse, который используется в качестве назначения для потока данных.

1. Перейдите к интерфейсу Инжиниринг данных.

   

2. Перейдите в рабочую область с поддержкой Fabric.

   

3. Выберите Lakehouse в меню создания.

   

4. Введите имя озера.

5. Нажмите кнопку создания.

Теперь вы создали lakehouse и теперь можете настроить поток данных.

Создание потока данных

Поток данных — это повторно используемое преобразование данных, которое можно использовать в конвейере. В этом руководстве вы создадите поток данных, который получает данные из источника OData и записывает данные в место назначения Lakehouse.

1. Переключитесь на интерфейс Фабрики данных.

   

2. Перейдите в рабочую область с поддержкой Fabric.

   

3. Выберите поток данных 2-го поколения в меню создания.

   

4. Прием данных из источника OData.

   1. Выберите " Получить данные" и нажмите кнопку "Дополнительно".

      

   2. В разделе "Выбор источника данных" найдите OData и выберите соединитель OData.

      

   3. Введите URL-адрес источника OData. В этом руководстве используйте пример службы OData.

   4. Выберите Далее.

   5. Выберите сущность, которую требуется принять. В этом руководстве используйте сущность Orders .

      

   6. Нажмите кнопку создания.

Теперь, когда вы получили данные из источника OData, вы можете настроить назначение Lakehouse.

Чтобы принять данные в место назначения lakehouse, выполните следующие действия.

1. Выберите " Добавить назначение данных".

2. Выберите Lakehouse.

   

3. Настройте подключение, которое вы хотите использовать для подключения к lakehouse. Параметры по умолчанию хорошо.

4. Выберите Далее.

5. Перейдите в рабочую область, в которой вы создали lakehouse.

6. Выберите озеро, созданное на предыдущих шагах.

   

7. Подтвердите имя таблицы.

8. Выберите Далее.

9. Подтвердите метод обновления и выберите "Сохранить параметры".

   

10. Опубликуйте поток данных.

    Важно!

    При создании первого поколения Dataflow 2-го поколения в рабочей области элементы Lakehouse и Warehouse подготавливаются вместе с соответствующими конечными точками аналитики SQL и семантической моделями. Эти элементы разделяются всеми потоками данных в рабочей области и требуются для работы потока данных 2-го поколения, не следует удалять и не предназначены для непосредственного использования пользователями. Элементы — это сведения о реализации потока данных 2-го поколения. Элементы не отображаются в рабочей области, но могут быть доступны в других интерфейсах, таких как записная книжка, конечная точка SQL, Lakehouse и хранилище. Элементы можно распознать по их префиксу в имени. Префикс элементов — DataflowsStaging.

Теперь, когда вы получили данные в место назначения Lakehouse, можно настроить конвейер данных.

Создание конвейера данных

Конвейер данных — это рабочий процесс, который можно использовать для автоматизации обработки данных. В этом руководстве вы создадите конвейер данных, который запускает поток данных 2-го поколения, созданный в предыдущей процедуре.

1. Вернитесь на страницу обзора рабочей области и выберите "Конвейеры данных" в меню создания.

   

2. Укажите имя конвейера данных.

3. Выберите действие потока данных.

   

4. Выберите поток данных, созданный в предыдущей процедуре, в раскрывающемся списке потока данных в Параметры.

   

5. Добавьте действие Office 365 Outlook.

   

6. Настройте действие Office 365 Outlook для отправки уведомлений по электронной почте.

   1. Проверка подлинности с помощью учетной записи Office 365.

   2. Выберите адрес электронной почты, на который вы хотите отправить уведомление.

   3. Введите тему для сообщения электронной почты.

   4. Введите текст сообщения электронной почты.

      

Запуск и планирование конвейера данных

В этом разделе описано, как запустить и запланировать конвейер данных. Это расписание позволяет запускать конвейер данных по расписанию.

1. Перейдите в рабочую область.

2. Откройте раскрывающееся меню конвейера данных, созданного в предыдущей процедуре, и выберите "Расписание".

   

3. В запланированном запуске нажмите кнопку "Вкл.".

   

4. Укажите расписание, которое необходимо использовать для запуска конвейера данных.

   1. Повторяйте, например, каждый день или каждую минуту.
   2. При выборе "Ежедневно" можно также выбрать время.
   3. Начните с определенной даты.
   4. Окончание определенной даты.
   5. Выберите часовой пояс.

5. Нажмите Применить, чтобы применить изменения.

Теперь вы создали конвейер данных, который выполняется по расписанию, обновляет данные в lakehouse и отправляет вам уведомление по электронной почте. Вы можете проверка состояние конвейера данных, перейдя в Центр мониторинга. Вы также можете проверка состояние конвейера данных, перейдя в конвейер данных и выбрав вкладку "Журнал выполнения" в раскрывающемся меню.

Связанный контент

В этом примере показано, как использовать поток данных в конвейере с фабрикой данных в Microsoft Fabric. Вы научились выполнять следующие задачи:

• Создание потока данных.
• Создайте конвейер, вызывающий поток данных.
• Запустите и запланируйте конвейер данных.

Затем перейдите к дополнительным сведениям о мониторинге выполнения конвейера.

Мониторинг выполнения конвейера в Microsoft Fabric