Поделиться через

Что такое задание в Apache Airflow?

Примечание.

Задание Apache Airflow работает под управлением Apache Airflow.

Задание Apache Airflow — это следующее поколение менеджера оркестрации рабочих процессов Azure Data Factory. Это простой и эффективный способ создания заданий оркестрации Apache Airflow и управления ими, что позволяет легко запускать ациклические графы (DAG). Это часть фабрики данных Fabric, которая позволяет вам с помощью современной интеграции данных выполнять прием, подготовку и преобразование данных из богатого набора источников данных, например баз данных, хранилища данных, Lakehouse, данных в режиме реального времени и т. д.

Когда следует использовать задание Apache Airflow?

Управляемый сервис Apache Airflow предлагает пользователям возможность создавать и управлять DAG (ориентированными ациклическими графами) на основе Python для управления потоками работ, не беспокоясь о базовой инфраструктуре. Если у вас есть опыт работы с Apache Airflow или вы предпочитаете подход, ориентированный на код, этот вариант идеально подходит. В отличие от этого, если вы предпочитаете решение без кода для оркестрации данных, конвейеры данных предлагают дружественную альтернативу, которая не требует управления рабочими процессами на основе Python или написания.

Основные возможности

Задание Apache Airflow, размещенное в Microsoft Fabric, предоставляет широкий спектр мощных функций, в том числе:

Основные возможности Задание Apache Airflow в Fabric Диспетчер оркестрации рабочих процессов в Azure Data Factory
Синхронизация Git Да Да
Включение AKV (Azure Key Vault) в качестве серверной части Да Да
Установка частного пакета в качестве требования Да Да
Журналы диагностики и метрики Нет Да
Хранилище BLOB-объектов Нет Да
IP-адрес кластера Apache Airflow Да Да
Автомасштабирование для управления пиками выполнения рабочей нагрузки Да Частично
Высокий уровень доступности для устранения сбоев и простоев Да Нет
Отложенные операторы для приостановки простоя операторов и освобождения рабочих ролей Да Нет
Приостановка и возобновление TTL (время жизни) Да Нет
Опыт SaaS — 10 секунд до начала работы — создание DAGs — бесплатная пробная версия Fabric Да Нет

Доступность по регионам

  • Восточная Австралия
  • Юго-Восточная часть Австралии
  • Южная Бразилия
  • Центральная Канада
  • Восточная Канада
  • Центральная Индия
  • Центральная часть США
  • Восточная Азия
  • Восточная часть США
  • Восток США 2
  • Центральная Франция
  • Центрально-Западная Германия
  • Центральная Индонезия (в ближайшее время)
  • Центральный Израиль
  • Италия Север
  • Восточная Япония
  • Западная Япония
  • Центральная Корея
  • Малайзия Запад (в ближайшее время)
  • Центральная Мексика
  • Новая Зеландия Северная (в ближайшее время)
  • Северная Европа
  • Восточная Норвегия
  • Центральная Польша
  • Центральный Катар (скоро)
  • Центральная Испания (скоро)
  • Северная часть ЮАР;
  • Центрально-южная часть США
  • Южная Индия
  • Юго-Восточная Азия
  • Центральная Швеция
  • Северная Швейцария
  • Западная Швейцария
  • Тайвань север (скоро в наличии)
  • Тайвань Северо-Запад (в ближайшее время)
  • Северная часть ОАЭ;
  • южная часть Соединенного Королевства
  • западная часть Соединенного Королевства
  • Западная Европа
  • западная часть США
  • Западная часть США 2
  • Западная часть США 3

Поддерживаемые версии Apache Airflow

  • 2.10.5

Поддержка версии Python

  • 3.12

Примечание.

Изменение версии Apache Airflow в существующем задании Apache Airflow в настоящее время не поддерживается. Вместо этого рекомендуется создать задание Apache Airflow с требуемой версией.

Связанный контент