Что такое диспетчер оркестрации рабочих процессов?
Область применения:
Фабрика данных Azure 
Azure Synapse Analytics
Совет
Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !
Примечание.
Диспетчер оркестрации рабочих процессов управляется Apache Airflow.
Примечание.
Эта функция предоставляется в общедоступной предварительной версии. Для вопросов или предложений функций отправьте сообщение электронной почты ManagedAirflow@microsoft.com с подробными сведениями.
Примечание.
Диспетчер оркестрации рабочих процессов для Фабрика данных Azure зависит от приложения Apache Airflow открытый код. Документация и дополнительные руководства по Airflow можно найти на страницах документации по Apache Airflow или сообщества.
Фабрика данных Azure предлагает бессерверные конвейеры для оркестрации процессов данных, перемещения данных с помощью 100+ управляемых соединителей и визуальных преобразований с потоком данных сопоставления.
Служба диспетчера оркестрации рабочих процессов Фабрика данных Azure — это простой и эффективный способ создания и управления ими Среды Apache Airflow позволяют легко запускать конвейеры данных в большом масштабе. Apache Airflow — это платформа с открытым исходным кодом , используемая для программного создания, планирования и мониторинга сложных рабочих процессов данных. Он позволяет определить набор задач, которые называются операторами, которые можно объединить в ациклические графы (DAG) для представления конвейеров данных. Airflow позволяет выполнять эти группы управления доступом по расписанию или в ответ на событие, отслеживать ход выполнения рабочих процессов и обеспечивать видимость состояния каждой задачи. Она широко используется в проектировании и обработке и анализе данных для оркестрации конвейеров данных и известен своей гибкостью, расширяемостью и простотой использования.
Когда использовать диспетчер оркестрации рабочих процессов?
предложения Фабрика данных AzureКонвейеры для визуального оркестрации процессов данных (разработка на основе пользовательского интерфейса). Хотя диспетчер оркестрации рабочих процессов предлагает daGs python на основе Airflow (разработку на основе кода Python) для определения процесса оркестрации данных. Если у вас есть фон Airflow или в настоящее время используется Apache Airflow, вы можете использовать диспетчер оркестрации рабочих процессов вместо конвейеров. Наоборот, если вы не хотите писать и управлять daGs на основе Python для оркестрации процессов данных, вы можете использовать конвейеры.
С помощью диспетчера оркестрации рабочих процессов Фабрика данных Azure теперь предоставляет возможности много оркестрации, охватывающие визуальные, кодовые, требования к оркестрации OSS.
Функции
Диспетчер оркестрации рабочих процессов в Фабрика данных Azure предлагает ряд мощных функций, включая:
- Быстрое и простое развертывание . Вы можете быстро и легко настроить Apache Airflow, выбрав версию Apache Airflow при создании диспетчера оркестрации рабочих процессов.
- Облачное масштабирование — диспетчер оркестрации рабочих процессов автоматически масштабирует узлы Apache Airflow при необходимости на основе спецификации диапазона (min, max).
- Интеграция Microsoft Entra . Вы можете включить Microsoft Entra RBAC в среде Airflow для единого входа, защищенного идентификатором Microsoft Entra.
- Шифрование метаданных. Диспетчер оркестрации рабочих процессов автоматически шифрует метаданные с помощью ключей, управляемых Azure, чтобы обеспечить безопасность среды по умолчанию. Он также поддерживает двойное шифрование с помощью управляемого клиентом ключа (CMK).
- Мониторинг и оповещение Azure. Все журналы, созданные диспетчером оркестрации рабочих процессов, экспортируются в Azure Monitor. Он также предоставляет метрики для отслеживания критических условий и справки по уведомлению о необходимости.
Архитектура
Доступность региона (общедоступная предварительная версия)
- Восточная часть сша
- Центрально-южная часть США
- западная часть США
- Южная Бразилия
- южная часть Соединенного Королевства
- Северная Европа
- Западная Европа
- Юго-Восточная Азия
Примечание.
По общедоступной версии все регионы ADF будут поддерживаться. Регион среды Airflow по умолчанию является регионом фабрики данных и не настраивается, поэтому убедитесь, что вы используете фабрику данных в приведенном выше регионе, чтобы получить доступ к предварительной версии Диспетчера оркестрации рабочих процессов.
Поддерживаемые версии Apache Airflow
- 2.6.3
Примечание.
Изменение версии Airflow в существующей среде IR не поддерживается. Вместо этого рекомендуется создать новую среду ir Airflow с требуемой версией.
Интеграции
Apache Airflow интегрируется со службами Microsoft Azure через поставщика microsoft.azure.
Вы можете установить любой пакет поставщика, изменив среду потока воздуха из пользовательского интерфейса Фабрика данных Azure. Установка пакета занимает около нескольких минут.
Ограничения
- Диспетчер оркестрации рабочих процессов в других регионах доступен в общедоступной версии.
- Источники данных, подключающиеся через поток воздуха, должны быть доступны через общедоступную конечную точку (сеть).
- Группы доступности, находящиеся внутри служба хранилища BLOB-объектов в виртуальной сети или за брандмауэром, в настоящее время не поддерживаются. Вместо этого рекомендуется использовать функцию синхронизации Git диспетчера оркестрации рабочих процессов. См. синхронизацию репозитория GitHub в Диспетчере оркестрации рабочих процессов
- Импорт dags из Azure Key Vault не поддерживается в LinkedServices.