Créer un environnement Airflow dans le gestionnaire du flux de travail

Remarque

Le gestionnaire de flux de travail est propulsé par Apache Airflow.

Cet article explique comment paramétrer et configurer un environnement Airflow dans le gestionnaire du flux de travail.

Prérequis

• Abonnement Azure : Si vous n’avez pas d’abonnement Azure, créez un compte gratuit avant de commencer.
• Azure Data Factory: créez ou sélectionnez une instance Data Factory existante dans la région où la préversion du gestionnaire du flux de travail est prise en charge.

Créer l’environnement

Pour créer un nouvel environnement de gestionnaire du flux de travail :

1. Accédez au hub Gérer et sélectionnez Airflow (préversion)>+ Nouveau pour ouvrir la page de configuration de l’environnement Airflow.

   

2. Entrez les informations et sélectionnez les options de votre configuration Airflow.

   

   Important

   Lorsque vous utilisez l’authentification De base, mémorisez le nom d’utilisateur et le mot de passe spécifiés sur cette page. Vous en aurez besoin pour vous connecter à l’interface utilisateur Airflow ultérieurement. L’option par défaut est Azure AD. Elle ne nécessite pas la création d’un nom d’utilisateur ni d’un mot de passe pour votre environnement Airflow. Au lieu de cela, elle utilise les informations d’identification de l’utilisateur connecté pour la connexion Azure Data Factory et analyser les graphes orientés acycliques (Directed Acyclic Graph/DAG).

   Autres options sur la page de configuration de l’environnement Airflow :

   • Activer la synchronisation Git : vous pouvez autoriser votre environnement Airflow à se synchroniser automatiquement avec un référentiel Git au lieu d’importer manuellement les DAG. Pour plus d’informations, consultez Synchroniser un référentiel GitHub dans le gestionnaire du flux de travail.
   • Remplacements de configuration d’Airflow Vous pouvez remplacer toute configuration d’Airflow que vous définissez dans airflow.cfg. par exemple name: AIRFLOW__VAR__FOO et value: BAR. Pour plus d’informations, consultez Configurations Airflow.
   • Variables d’environnement : vous pouvez utiliser ce magasin clés-valeurs dans Airflow pour stocker et récupérer du contenu arbitraire ou des paramètres.
   • Exigences : vous pouvez utiliser cette option pour préinstaller des bibliothèques Python. Vous pouvez également mettre à jour ces exigences ultérieurement.
   • Secrets Kubernetes : vous pouvez créer un secret Kubernetes personnalisé pour votre environnement Airflow. En voici un exemple : Informations d’identification du registre privé pour extraire des images pour KubernetesPodOperator.

3. Une fois que vous avez rempli toutes les informations en fonction des exigences, sélectionnez Créer.