Créer une infrastructure pour exécuter Apache Airflow sur Azure Kubernetes Service (AKS)

Dans cet article, vous allez créer les ressources d’infrastructure nécessaires pour exécuter Apache Airflow sur Azure Kubernetes Service (AKS).

Prérequis

Si vous ne l’avez pas encore fait, passez en revue la Vue d’ensemble du déploiement d’un cluster Apache Airflow sur Azure Kubernetes Service (AKS).
Un abonnement Azure. Si vous n’en avez pas, créez un compte gratuit.
Azure CLI version 2.61.0 ou ultérieure Pour installer ou mettre à niveau Azure CLI, consultez Installer Azure CLI.
Helm version 3 ou ultérieure. Pour l’installer, consultez Installation de Helm.
kubectl, qui est installé dans Azure Cloud Shell par défaut.
Référentiel GitHub pour stocker les DAG Airflow.
Docker installé sur votre ordinateur local. Pour installer, consultez Obtenir le Docker.

Définir des variables d’environnement

Définissez les variables d’environnement requises à utiliser dans ce guide :

random=$(echo $RANDOM | tr '[0-9]' '[a-z]')
export MY_LOCATION=canadacentral
export MY_RESOURCE_GROUP_NAME=apache-airflow-rg
export MY_IDENTITY_NAME=airflow-identity-123
export MY_ACR_REGISTRY=mydnsrandomname$(echo $random)
export MY_KEYVAULT_NAME=airflow-vault-$(echo $random)-kv
export MY_CLUSTER_NAME=apache-airflow-aks
export SERVICE_ACCOUNT_NAME=airflow
export SERVICE_ACCOUNT_NAMESPACE=airflow
export AKS_AIRFLOW_NAMESPACE=airflow
export AKS_AIRFLOW_CLUSTER_NAME=cluster-aks-airflow
export AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME=airflowsasa$(echo $random)
export AKS_AIRFLOW_LOGS_STORAGE_CONTAINER_NAME=airflow-logs
export AKS_AIRFLOW_LOGS_STORAGE_SECRET_NAME=storage-account-credentials

Créer un groupe de ressources

Créez un groupe de ressources avec la commande az group create.

az group create --name $MY_RESOURCE_GROUP_NAME --location $MY_LOCATION --output table

Exemple de sortie :

Location       Name
-------------  -----------------
$MY_LOCATION   $MY_RESOURCE_GROUP_NAME

Créer une identité pour accéder aux secrets dans Azure Key Vault

Dans cette étape, nous créons une identité managée affectée par l’utilisateur que l’opérateur de secrets externes utilise pour accéder aux mots de passe Airflow stockés dans Azure Key Vault.

Créez une identité managée affectée par l’utilisateur à l’aide de la commande az identity create.

az identity create --name $MY_IDENTITY_NAME --resource-group $MY_RESOURCE_GROUP_NAME --output table
export MY_IDENTITY_NAME_ID=$(az identity show --name $MY_IDENTITY_NAME --resource-group $MY_RESOURCE_GROUP_NAME --query id --output tsv)
export MY_IDENTITY_NAME_PRINCIPAL_ID=$(az identity show --name $MY_IDENTITY_NAME --resource-group $MY_RESOURCE_GROUP_NAME --query principalId --output tsv)
export MY_IDENTITY_NAME_CLIENT_ID=$(az identity show --name $MY_IDENTITY_NAME --resource-group $MY_RESOURCE_GROUP_NAME --query clientId --output tsv)

Exemple de sortie :

ClientId                              Location       Name                  PrincipalId                           ResourceGroup            TenantId
------------------------------------  -------------  --------------------  ------------------------------------  -----------------------  ------------------------------------  
00001111-aaaa-2222-bbbb-3333cccc4444  $MY_LOCATION   $MY_IDENTITY_NAME     aaaaaaaa-bbbb-cccc-1111-222222222222  $MY_RESOURCE_GROUP_NAME  aaaabbbb-0000-cccc-1111-dddd2222eeee

Créer une instance Azure Key Vault

Créez une instance Azure Key Vault à l’aide de la commande az keyvault create.

az keyvault create --name $MY_KEYVAULT_NAME --resource-group $MY_RESOURCE_GROUP_NAME --location $MY_LOCATION --enable-rbac-authorization false --output table
export KEYVAULTID=$(az keyvault show --name $MY_KEYVAULT_NAME --query "id" --output tsv)
export KEYVAULTURL=$(az keyvault show --name $MY_KEYVAULT_NAME --query "properties.vaultUri" --output tsv)

Exemple de sortie :

Location       Name                  ResourceGroup
-------------  --------------------  ----------------------
$MY_LOCATION   $MY_KEYVAULT_NAME     $MY_RESOURCE_GROUP_NAME

Créer un registre de conteneurs Azure

Créez un registre de conteneurs Azure pour stocker et gérer vos images conteneur à l’aide de la az acr create commande.

az acr create \
--name ${MY_ACR_REGISTRY} \
--resource-group $MY_RESOURCE_GROUP_NAME \
--sku Premium \
--location $MY_LOCATION \
--admin-enabled true \
--output table
export MY_ACR_REGISTRY_ID=$(az acr show --name $MY_ACR_REGISTRY --resource-group $MY_RESOURCE_GROUP_NAME --query id --output tsv)

Exemple de sortie :

NAME                  RESOURCE GROUP           LOCATION       SKU      LOGIN SERVER                     CREATION DATE         ADMIN ENABLED
--------------------  ----------------------   -------------  -------  -------------------------------  --------------------  ---------------
mydnsrandomnamebfbje  $MY_RESOURCE_GROUP_NAME  $MY_LOCATION   Premium  mydnsrandomnamebfbje.azurecr.io  2024-11-07T00:32:48Z  True

Créer un compte de stockage Azure

Créez un compte de stockage Azure pour stocker les journaux d'activité Airflow à l’aide de la commande az acr create.

az storage account create --name $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME --resource-group $MY_RESOURCE_GROUP_NAME --location $MY_LOCATION --sku Standard_ZRS --output table
export AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_KEY=$(az storage account keys list --account-name $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME --query "[0].value" -o tsv)
az storage container create --name $AKS_AIRFLOW_LOGS_STORAGE_CONTAINER_NAME --account-name $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME --output table --account-key $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_KEY
az keyvault secret set --vault-name $MY_KEYVAULT_NAME --name AKS-AIRFLOW-LOGS-STORAGE-ACCOUNT-NAME --value $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME
az keyvault secret set --vault-name $MY_KEYVAULT_NAME --name AKS-AIRFLOW-LOGS-STORAGE-ACCOUNT-KEY --value $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_KEY

Exemple de sortie :

AccessTier    AllowBlobPublicAccess    AllowCrossTenantReplication    CreationTime                      EnableHttpsTrafficOnly    Kind       Location       MinimumTlsVersion    Name              PrimaryLocation    ProvisioningState    ResourceGroup      StatusOfPrimary
------------  -----------------------  -----------------------------  --------------------------------  ------------------------  ---------  -------------  -------------------  ----------------  -----------------  -------------------  -----------------  -----------------
Hot           False                    False                          2024-11-07T00:22:13.323104+00:00  True                      StorageV2  $MY_LOCATION   TLS1_0               airflowsasabfbje  $MY_LOCATION       Succeeded            $MY_RESOURCE_GROUP_NAME  available
Created
---------
True

Créer un cluster AKS

Dans cette étape, nous créons un cluster AKS avec l’identité de la charge de travail et l’émetteur OIDC activés. Cette configuration crée un cluster AKS haute disponibilité optimisé pour l’exécution de charges de travail de production comme Apache Airflow. Il provisionne un cluster à trois nœuds à l’aide Standard_DS4_v2 de machines virtuelles sur trois zones de disponibilité pour la résilience. Le cluster est intégré à ACR pour les extractions d’images sécurisées et inclut la prise en charge de l’émetteur OIDC et de l’identité de charge de travail pour un accès sécurisé basé sur l’identité aux ressources Azure. Il permet également le plug-in réseau Azure CNI, le pilote CSI d’objets blob et les mises à niveau automatiques du système d’exploitation de nœud et de Kubernetes pour améliorer les performances et la sécurité.

Créez un cluster AKS avec la commande az aks create.

az aks create \
--location $MY_LOCATION \
--name $MY_CLUSTER_NAME \
--tier standard \
--resource-group $MY_RESOURCE_GROUP_NAME \
--network-plugin azure  \
--node-vm-size Standard_DS4_v2 \
--node-count 3 \
--auto-upgrade-channel stable \
--node-os-upgrade-channel NodeImage \
--attach-acr ${MY_ACR_REGISTRY} \
--enable-oidc-issuer \
--enable-blob-driver \
--enable-workload-identity \
--zones 1 2 3 \
--generate-ssh-keys \
--output table

Exemple de sortie :

AzurePortalFqdn                                                                 CurrentKubernetesVersion    DisableLocalAccounts    DnsPrefix                           EnableRbac    Fqdn                                                                     KubernetesVersion    Location       MaxAgentPools    Name                NodeResourceGroup                                      ProvisioningState    ResourceGroup            ResourceUid                           SupportPlan
------------------------------------------------------------------------------  --------------------------  ----------------------  ----------------------------------  ------------  -----------------------------------------------------------------------  -------------------  -------------  ---------------  ------------------  -----------------------------------------------------  -------------------  -----------------------  ------------------------------------  ------------------
apache-air-apache-airflow-r-363a0a-rhf6saad.portal.hcp.$MY_LOCATION.azmk8s.io   1.29.9                      False                   apache-air-apache-airflow-r-363a0a  True          apache-air-apache-airflow-r-363a0a-rhf6saad.hcp.$MY_LOCATION.azmk8s.io   1.29                 $MY_LOCATION   100              $MY_CLUSTER_NAME    MC_apache-airflow-rg_apache-airflow-aks_$MY_LOCATION   Succeeded            $MY_RESOURCE_GROUP_NAME  b1b1b1b1-cccc-dddd-eeee-f2f2f2f2f2f2  KubernetesOfficial

Obtenez l’URL de l’émetteur OIDC à utiliser pour la configuration de l’identité de charge de travail à l’aide de la commande az aks show.
```
export OIDC_URL=$(az aks show --resource-group $MY_RESOURCE_GROUP_NAME --name $MY_CLUSTER_NAME --query oidcIssuerProfile.issuerUrl --output tsv)
```

Attribuez le rôle AcrPull à l’identité kubelet avec la commande az role assignment create.

export KUBELET_IDENTITY=$(az aks show -g $MY_RESOURCE_GROUP_NAME --name $MY_CLUSTER_NAME --output tsv --query identityProfile.kubeletidentity.objectId)
az role assignment create \
--assignee ${KUBELET_IDENTITY} \
--role "AcrPull" \
--scope ${MY_ACR_REGISTRY_ID} \
--output table

Exemple de sortie :

CreatedBy                             CreatedOn                         Name                                  PrincipalId                           PrincipalName                         PrincipalType     ResourceGroup            RoleDefinitionId                                                                                                                            RoleDefinitionName    Scope                                                                                                                                                             UpdatedBy                             UpdatedOn
------------------------------------  --------------------------------  ------------------------------------  ------------------------------------  ------------------------------------  ----------------  -----------------------  ------------------------------------------------------------------------------------------------------------------------------------------  --------------------  ----------------------------------------------------------------------------------------------------------------------------------------------------------        ------------------------------------  --------------------------------
ccccdddd-2222-eeee-3333-ffff4444aaaa  2024-11-07T00:43:26.905445+00:00  b1b1b1b1-cccc-dddd-eeee-f2f2f2f2f2f2  bbbbbbbb-cccc-dddd-2222-333333333333  cccccccc-dddd-eeee-3333-444444444444  ServicePrincipal  $MY_RESOURCE_GROUP_NAME  /subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/providers/Microsoft.Authorization/roleDefinitions/7f951dda-4ed3-4680-a7ca-43fe172d538d  AcrPull               /subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/$MY_RESOURCE_GROUP_NAME/providers/Microsoft.ContainerRegistry/registries/mydnsrandomnamebfbje  ccccdddd-2222-eeee-3333-ffff4444aaaa  2024-11-07T00:43:26.905445+00:00

Se connecter au cluster AKS

Configurez kubectl pour qu’il se connecte à votre cluster AKS à l’aide de la commande az aks get-credentials.

az aks get-credentials --resource-group $MY_RESOURCE_GROUP_NAME --name $MY_CLUSTER_NAME --overwrite-existing --output table

Charger des images Apache Airflow dans votre registre de conteneurs

Dans cette section, nous téléchargeons les images Apache Airflow de Docker Hub et les chargeons dans Azure Container Registry. Cette étape garantit que les images sont disponibles dans votre registre privé et peuvent être utilisées dans votre cluster AKS. Nous ne recommandons pas de consommer l’image publique dans un environnement de production.

Importez les images Airflow de Docker Hub et chargez-les dans votre registre de conteneurs à l’aide de la commande az acr import.

az acr import --name $MY_ACR_REGISTRY --source docker.io/apache/airflow:airflow-pgbouncer-2025.03.05-1.23.1 --image airflow:airflow-pgbouncer-2025.03.05-1.23.1
az acr import --name $MY_ACR_REGISTRY --source docker.io/apache/airflow:airflow-pgbouncer-exporter-2025.03.05-0.18.0 --image airflow:airflow-pgbouncer-exporter-2025.03.05-0.18.0
az acr import --name $MY_ACR_REGISTRY --source docker.io/bitnamilegacy/postgresql:16.1.0-debian-11-r15 --image postgresql:16.1.0-debian-11-r15
az acr import --name $MY_ACR_REGISTRY --source quay.io/prometheus/statsd-exporter:v0.28.0 --image statsd-exporter:v0.28.0 
az acr import --name $MY_ACR_REGISTRY --source docker.io/apache/airflow:3.0.2 --image airflow:3.0.2 
az acr import --name $MY_ACR_REGISTRY --source registry.k8s.io/git-sync/git-sync:v4.3.0 --image git-sync:v4.3.0

Étape suivante

Déployer Apache Airflow sur Azure Kubernetes Service (AKS)

Contributeurs

Microsoft gère cet article. Les contributeurs suivants ont rédigé sa version d’origine :

Don High | Ingénieur client principal
Satya Chandragiri | Architecte senior des solutions numériques dématérialisées
Erin Schaffer | Développeuse de contenu 2

Commentaires

Cette page a-t-elle été utile ?

Dernière mise à jour : 2025-08-14

Créer une infrastructure pour exécuter Apache Airflow sur Azure Kubernetes Service (AKS)

Prérequis

Définir des variables d’environnement

Créer un groupe de ressources

Créer une identité pour accéder aux secrets dans Azure Key Vault

Créer une instance Azure Key Vault

Créer un registre de conteneurs Azure

Créer un compte de stockage Azure

Créer un cluster AKS

Se connecter au cluster AKS

Charger des images Apache Airflow dans votre registre de conteneurs

Étape suivante

Contributeurs

Commentaires

Ressources supplémentaires