Что такое управляемый воздушный поток Фабрика данных Azure?

Область применения:Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

Примечание.

Эта функция предоставляется в общедоступной предварительной версии. Для вопросов или предложений функций отправьте сообщение электронной почты ManagedAirflow@microsoft.com с подробными сведениями.

Примечание.

Управляемый airflow для Фабрика данных Azure зависит от приложения Apache Airflow открытый код. Документация и дополнительные руководства по Airflow можно найти на страницах документации по Apache Airflow или сообщества.

Фабрика данных Azure предлагает бессерверные конвейеры для оркестрации процессов данных, перемещения данных с помощью 100+ управляемых соединителей и визуальных преобразований с потоком данных сопоставления.

Фабрика данных Azure управляемая служба Airflow — это простой и эффективный способ создания и управления ими Среды Apache Airflow позволяют легко запускать конвейеры данных в большом масштабе. Apache Airflow — это платформа с открытым исходным кодом , используемая для программного создания, планирования и мониторинга сложных рабочих процессов данных. Он позволяет определить набор задач, которые называются операторами, которые можно объединить в ациклические графы (DAG) для представления конвейеров данных. Airflow позволяет выполнять эти группы управления доступом по расписанию или в ответ на событие, отслеживать ход выполнения рабочих процессов и обеспечивать видимость состояния каждой задачи. Она широко используется в проектировании и обработке и анализе данных для оркестрации конвейеров данных и известен своей гибкостью, расширяемостью и простотой использования.

Screenshot shows data integration.

Когда следует использовать управляемый поток воздуха?

предложения Фабрика данных AzureКонвейеры для визуального оркестрации процессов данных (разработка на основе пользовательского интерфейса). В то время как Управляемый Airflow предлагает daGs python на основе Airflow (разработка на основе кода Python) для определения процесса оркестрации данных. Если у вас есть фон Airflow или вы используете Apache Airflow, вы можете использовать управляемый поток воздуха вместо конвейеров. Наоборот, если вы не хотите писать и управлять daGs на основе Python для оркестрации процессов данных, вы можете использовать конвейеры.

С помощью Managed Airflow Фабрика данных Azure теперь предлагает возможности с несколькими оркестрациями, охватывающие визуальные, кодовые, требования к оркестрации OSS.

Функции

Управляемый airflow в Фабрика данных Azure предлагает широкий спектр мощных функций, в том числе:

  • Быстрое и простое развертывание . Вы можете быстро и легко настроить Apache Airflow, выбрав версию Apache Airflow при создании управляемого airflow.
  • Масштабирование облака — Управляемый поток airflow автоматически масштабирует узлы Apache Airflow при необходимости на основе спецификации диапазона (min, max).
  • Интеграция Microsoft Entra . Вы можете включить Microsoft Entra RBAC в среде Airflow для единого входа, защищенного идентификатором Microsoft Entra.
  • Интеграция с управляемыми виртуальная сеть (в ближайшее время) — вы можете получить доступ к источнику данных через частные конечные точки или локальную среду с помощью управляемой виртуальная сеть ADF, которая обеспечивает дополнительную сетевую изоляцию.
  • Шифрование метаданных. Управляемый airflow автоматически шифрует метаданные с помощью ключей, управляемых Azure, чтобы обеспечить безопасность вашей среды по умолчанию. Он также поддерживает двойное шифрование с помощью управляемого клиентом ключа (CMK).
  • Мониторинг и оповещение Azure. Все журналы, созданные Управляемым airflow, экспортируются в Azure Monitor. Он также предоставляет метрики для отслеживания критических условий и справки по уведомлению о необходимости.

Архитектура

Screenshot shows architecture in Managed Airflow.

Доступность региона (общедоступная предварительная версия)

  • Восточная часть сша
  • Центрально-южная часть США
  • западная часть США
  • Южная Бразилия
  • Южная часть Соединенного Королевства
  • Северная Европа
  • Западная Европа
  • Юго-Восточная Азия

Примечание.

По общедоступной версии все регионы ADF будут поддерживаться. Регион среды Airflow по умолчанию используется в регионе Фабрики данных и не настраивается, поэтому убедитесь, что вы используете фабрику данных в приведенном выше регионе, чтобы получить доступ к предварительной версии Управляемого потока воздуха.

Поддерживаемые версии Apache Airflow

  • 2.6.3

Примечание.

Изменение версии Airflow в существующей среде IR не поддерживается. Вместо этого рекомендуется создать новую среду ir Airflow с требуемой версией.

Интеграции

Apache Airflow интегрируется со службами Microsoft Azure через поставщика microsoft.azure.

Вы можете установить любой пакет поставщика, изменив среду потока воздуха из пользовательского интерфейса Фабрика данных Azure. Установка пакета занимает около нескольких минут.

Screenshot shows airflow integration.

Ограничения

  • Управляемый поток воздуха в других регионах доступен в общедоступной версии.
  • Источники данных, подключающиеся через поток воздуха, должны быть доступны через общедоступную конечную точку (сеть).
  • Группы доступности, находящиеся внутри служба хранилища BLOB-объектов в виртуальной сети или за брандмауэром, в настоящее время не поддерживаются. Вместо этого рекомендуется использовать функцию синхронизации Git управляемого airflow. См. синхронизацию репозитория GitHub в Managed Airflow
  • Импорт dags из Azure Key Vault не поддерживается в LinkedServices.