Partager via

Présentation d’Apache Airflow Job

Remarque

Apache Airflow Job est alimenté par Apache Airflow.

Apache Airflow Job est la nouvelle génération du gestionnaire du flux de travail d’Azure Data Factory. C’est un moyen simple et efficace de créer et de gérer des travaux d’orchestration d’Apache Airflow, qui vous permet d’exécuter facilement des DAG (Directed Acyclic Graph) à grande échelle. C’est le composant Data Factory de Fabric qui vous permet de bénéficier d’une expérience d’intégration des données moderne pour ingérer, préparer et transformer des données provenant d’une grande variété de sources de données, par exemple des bases de données, un entrepôt de données, un lakehouse, des données en temps réel, etc.

Quand utiliser Apache Airflow Job ?

Apache Airflow Job offre un service managé qui permet aux utilisateurs de créer et de gérer des DAG Python pour l’orchestration de flux de travail, sans vous soucier de l’infrastructure sous-jacente. Si vous avez de l’expérience avec Apache Airflow ou si vous préférez une approche centrée sur le code, cette option est idéale. En revanche, si vous préférez une solution sans code pour l’orchestration des données, les pipelines de données offrent une alternative conviviale qui ne nécessite pas de gérer ou d’écrire des flux de travail Python.

Principales fonctionnalités

Apache Airflow Job hébergé par Microsoft Fabric offre une gamme de fonctionnalités puissantes, notamment :

Principales fonctionnalités Apache Airflow Job dans Fabric Gestionnaire du flux de travail dans Azure Data Factory
Synchronisation Git Oui Oui
Activation d’AKV (Azure Key Vault) comme back-end Oui Oui
Installer un package privé en tant qu’exigence Oui Oui
Journaux de diagnostic et métriques Non Oui
Stockage Blob Non Oui
Adresse IP du groupement Apache Airflow Oui Oui
Mise à l’échelle automatique pour la gestion des pics d’exécution de charges de travail de production Oui Partiel
Haute disponibilité pour atténuer les pannes/temps d’arrêt Oui Non
Opérateurs différés pour suspendre les opérateurs inactifs et libérer des travailleurs Oui Non
Mise en pause et reprise de la durée de vie (TTL) Oui Non
Expérience SaaSified – 10 secondes pour commencer – Création de DAG – Essai gratuit de Fabric Oui Non

Disponibilité de la région

  • Australie Est
  • Sud-Est de l’Australie
  • Brésil Sud
  • Centre du Canada
  • Est du Canada
  • Inde centrale
  • Centre des États-Unis
  • Asie Est
  • USA Est
  • Est des États-Unis 2
  • France Centrale
  • Allemagne Centre-Ouest
  • Indonésie Centre (bientôt disponible)
  • Israël Central
  • Italie Nord
  • Japon Est
  • Japon Ouest
  • Corée Centrale
  • Malaisie Ouest (bientôt disponible)
  • Mexique Centre
  • Nouvelle-Zélande Nord (bientôt disponible)
  • Europe Nord
  • Norvège Est
  • Pologne Centre
  • Qatar Central (bientôt disponible)
  • Espagne Centre (bientôt disponible)
  • Afrique du Sud Nord
  • États-Unis - partie centrale méridionale
  • Inde Sud
  • Asie Sud-Est
  • Suède Centre
  • Suisse Nord
  • Suisse Ouest
  • Taïwan Nord (bientôt disponible)
  • Taïwan Nord-Ouest (bientôt disponible)
  • Émirats arabes unis Nord
  • Sud du Royaume-Uni
  • Ouest du Royaume-Uni
  • Europe Ouest
  • USA Ouest
  • Ouest des États-Unis 2
  • Ouest des États-Unis 3

Versions d’Apache Airflow prises en charge

  • 2.10.5

Prise en charge de la version de Python

  • 3,12

Remarque

La modification de la version d’Apache Airflow dans un travail Apache Airflow existant n’est actuellement pas prise en charge. Au lieu de cela, la solution recommandée consiste à créer un travail Apache Airflow avec la version souhaitée

Contenu associé