Использование потока данных в конвейере

В этом руководстве вы создадите конвейер данных для перемещения OData из источника Northwind в место назначения Lakehouse и отправки уведомления по электронной почте после завершения конвейера.

Важно!

Microsoft Fabric в настоящее время находится на этапе предварительной версии. Эти сведения относятся к предварительной версии продукта, который может быть существенно изменен перед выпуском. Корпорация Майкрософт не дает никаких гарантий, явных или подразумеваемых, в отношении предоставленной здесь информации. См. документацию по Фабрика данных Azure для службы в Azure.

Предварительные требования

Чтобы приступить к работе, необходимо выполнить следующие предварительные требования.

• Убедитесь, что у вас есть рабочая область с поддержкой Microsoft Fabric , которая не является моей рабочей областью по умолчанию.

Создание Lakehouse

Для начала необходимо создать lakehouse. Lakehouse — это озеро данных, оптимизированное для аналитики. В этом руководстве вы создадите lakehouse, который используется в качестве назначения для потока данных.

1. Переключитесь на интерфейс Инжиниринг данных.

   

2. Перейдите в рабочую область с поддержкой Fabric.

   

3. Выберите Lakehouse в меню создания.

   

4. Введите имя для lakehouse.

5. Нажмите кнопку создания.

Теперь вы создали lakehouse и можете настроить поток данных.

создание потока данных;

Поток данных — это повторно используемое преобразование данных, которое можно использовать в конвейере. В этом руководстве вы создадите поток данных, который получает данные из источника OData и записывает их в место назначения Lakehouse.

1. Переключитесь на интерфейс Фабрики данных .

   

2. Перейдите в рабочую область с поддержкой Fabric.

   

3. Выберите Dataflow 2-го поколения в меню создания.

   

4. Прием данных из источника OData.

   1. Выберите Получить данные.

   2. Выберите OData.

      

   3. Введите URL-адрес источника OData. Для работы с этим руководством используйте пример службы OData.

   4. Выберите Далее.

   5. Выберите сущность , которую вы хотите принять. В этом руководстве используется сущность Orders .

      

   6. Нажмите кнопку создания.

Теперь, когда вы получили данные из источника OData, можно настроить назначение Lakehouse.

Чтобы принять данные в место назначения Lakehouse, выполните следующие действия.

1. Выберите Добавить назначение данных.

2. Выберите Lakehouse.

   

3. Настройте подключение, которое вы хотите использовать для подключения к lakehouse. Параметры по умолчанию в порядке.

4. Выберите Далее.

5. Перейдите в рабочую область, в которой вы создали lakehouse.

6. Выберите lakehouse, созданный на предыдущих шагах.

   

7. Подтвердите имя таблицы.

8. Выберите Далее.

9. Подтвердите метод обновления и выберите Сохранить параметры.

   

10. Опубликуйте поток данных.

Теперь, когда вы получили данные в место назначения Lakehouse, можно настроить конвейер данных.

Создание конвейера данных

Конвейер данных — это рабочий процесс, который можно использовать для автоматизации обработки данных. В этом руководстве вы создадите конвейер данных, в котором выполняется поток данных 2-го поколения, созданный в предыдущей процедуре.

1. Вернитесь на страницу обзора рабочей области и выберите Конвейеры данных в меню создания.

   

2. Укажите имя для конвейера данных.

3. Выберите действие Поток данных .

   

4. Выберите поток данных , созданный в предыдущей процедуре, в раскрывающемся списке Поток данных в разделе Параметры.

   

5. Добавьте действие уведомления Email.

   

6. Настройте действие уведомления Email.

   1. Выполните проверку подлинности с помощью учетной записи Office 365.

   2. Выберите адрес Email, по которому нужно отправить уведомление.

   3. Введите тему сообщения электронной почты.

   4. Введите текст сообщения электронной почты.

      

Запуск и планирование конвейера данных

В этом разделе вы запустите и запланируйте конвейер данных. Это расписание позволяет запускать конвейер данных по расписанию.

1. Перейдите в рабочую область.

2. Откройте раскрывающееся меню конвейера данных, созданного в предыдущей процедуре, а затем выберите Расписание.

   

3. В разделе Запланированное выполнение выберите Включено.

   

4. Укажите расписание, которое вы хотите использовать для запуска конвейера данных.

   1. Повторяйте, например, каждый день или каждую минуту.
   2. Если выбрано значение Ежедневно, можно также выбрать значение Время.
   3. Начать с определенной даты.
   4. Окончание на определенную дату.
   5. Выберите часовой пояс.

5. Нажмите Применить, чтобы применить изменения.

Вы создали конвейер данных, который выполняется по расписанию, обновляет данные в lakehouse и отправляет вам уведомление по электронной почте. Вы можете проверка состояние конвейера данных, перейдя в Центр мониторинга. Вы также можете проверка состояние конвейера данных, перейдя в раздел Конвейер данных и выбрав вкладку Журнал выполнения в раскрывающемся меню.

Дальнейшие действия

В этом примере показано, как использовать поток данных в конвейере с фабрикой данных в Microsoft Fabric. Вы ознакомились с выполнением следующих задач:

• Создание потока данных.
• Создайте конвейер, вызывающий поток данных.
• Запустите и запланируйте конвейер данных.

Затем перейдите к дополнительным сведениям о мониторинге выполнения конвейера.

Мониторинг выполнения конвейера в Microsoft Fabric