Crear la infraestructura para ejecutar Apache Airflow en Azure Kubernetes Service (AKS)

2024-12-31

En este artículo, creará la infraestructura necesaria para ejecutar Apache Airflow en Azure Kubernetes Service (AKS).

Requisitos previos

Si aún no lo ha hecho, revise la Información general para implementar un clúster de Apache Airflow en Azure Kubernetes Service (AKS).
Suscripción a Azure. En caso de no tener ninguna, cree una cuenta gratuita.
CLI de Azure, versión 2.61.0. Para la instalación o la actualización, consulte Instalación de la CLI de Azure.
Helm versión 3 o posterior. Para instalarlo, vea Instalación de Helm.
kubectl, que se instala en Azure Cloud Shell de forma predeterminada.
Repositorio de GitHub para almacenar Airflow Dags.
Docker instalado en la máquina local. Para instalarlo, vea Obtener Docker.

Establecimiento de variables de entorno

Establezca las variables de entorno necesarias para usarlas en esta guía:

random=$(echo $RANDOM | tr '[0-9]' '[a-z]')
export MY_LOCATION=canadacentral
export MY_RESOURCE_GROUP_NAME=apache-airflow-rg
export MY_IDENTITY_NAME=airflow-identity-123
export MY_ACR_REGISTRY=mydnsrandomname$(echo $random)
export MY_KEYVAULT_NAME=airflow-vault-$(echo $random)-kv
export MY_CLUSTER_NAME=apache-airflow-aks
export SERVICE_ACCOUNT_NAME=airflow
export SERVICE_ACCOUNT_NAMESPACE=airflow
export AKS_AIRFLOW_NAMESPACE=airflow
export AKS_AIRFLOW_CLUSTER_NAME=cluster-aks-airflow
export AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME=airflowsasa$(echo $random)
export AKS_AIRFLOW_LOGS_STORAGE_CONTAINER_NAME=airflow-logs
export AKS_AIRFLOW_LOGS_STORAGE_SECRET_NAME=storage-account-credentials

Crear un grupo de recursos

Cree un grupo de recursos con el comando az group create.

az group create --name $MY_RESOURCE_GROUP_NAME --location $MY_LOCATION --output table

Ejemplo:

Location       Name
-------------  -----------------
$MY_LOCATION   $MY_RESOURCE_GROUP_NAME

Creación de una identidad para acceder a secretos en Azure Key Vault

En este paso, se crea una identidad administrada asignada por el usuario que el operador de secretos externos usa para acceder a las contraseñas de Airflow almacenadas en Azure Key Vault.

Use el comando az identity create para crear una identidad administrada asignada por el usuario.

az identity create --name $MY_IDENTITY_NAME --resource-group $MY_RESOURCE_GROUP_NAME --output table
export MY_IDENTITY_NAME_ID=$(az identity show --name $MY_IDENTITY_NAME --resource-group $MY_RESOURCE_GROUP_NAME --query id --output tsv)
export MY_IDENTITY_NAME_PRINCIPAL_ID=$(az identity show --name $MY_IDENTITY_NAME --resource-group $MY_RESOURCE_GROUP_NAME --query principalId --output tsv)
export MY_IDENTITY_NAME_CLIENT_ID=$(az identity show --name $MY_IDENTITY_NAME --resource-group $MY_RESOURCE_GROUP_NAME --query clientId --output tsv)

Ejemplo:

ClientId                              Location       Name                  PrincipalId                           ResourceGroup            TenantId
------------------------------------  -------------  --------------------  ------------------------------------  -----------------------  ------------------------------------  
00001111-aaaa-2222-bbbb-3333cccc4444  $MY_LOCATION   $MY_IDENTITY_NAME     aaaaaaaa-bbbb-cccc-1111-222222222222  $MY_RESOURCE_GROUP_NAME  aaaabbbb-0000-cccc-1111-dddd2222eeee

Creación de una instancia de Azure Key Vault

Cree una instancia de Azure Key Vault mediante el comando az keyvault create.

az keyvault create --name $MY_KEYVAULT_NAME --resource-group $MY_RESOURCE_GROUP_NAME --location $MY_LOCATION --enable-rbac-authorization false --output table
export KEYVAULTID=$(az keyvault show --name $MY_KEYVAULT_NAME --query "id" --output tsv)
export KEYVAULTURL=$(az keyvault show --name $MY_KEYVAULT_NAME --query "properties.vaultUri" --output tsv)

Ejemplo:

Location       Name                  ResourceGroup
-------------  --------------------  ----------------------
$MY_LOCATION   $MY_KEYVAULT_NAME     $MY_RESOURCE_GROUP_NAME

Creación de una instancia de Azure Container Registry

Cree una instancia de Azure Container Registry para almacenar y administrar las imágenes de contenedor mediante el comando az acr create.

az acr create \
--name ${MY_ACR_REGISTRY} \
--resource-group $MY_RESOURCE_GROUP_NAME \
--sku Premium \
--location $MY_LOCATION \
--admin-enabled true \
--output table
export MY_ACR_REGISTRY_ID=$(az acr show --name $MY_ACR_REGISTRY --resource-group $MY_RESOURCE_GROUP_NAME --query id --output tsv)

Ejemplo:

NAME                  RESOURCE GROUP           LOCATION       SKU      LOGIN SERVER                     CREATION DATE         ADMIN ENABLED
--------------------  ----------------------   -------------  -------  -------------------------------  --------------------  ---------------
mydnsrandomnamebfbje  $MY_RESOURCE_GROUP_NAME  $MY_LOCATION   Premium  mydnsrandomnamebfbje.azurecr.io  2024-11-07T00:32:48Z  True

Creación de una cuenta de Azure Storage

Cree una cuenta de Azure Storage para almacenar los registros de Airflow mediante el comando az acr create.

az storage account create --name $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME --resource-group $MY_RESOURCE_GROUP_NAME --location $MY_LOCATION --sku Standard_ZRS --output table
export AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_KEY=$(az storage account keys list --account-name $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME --query "[0].value" -o tsv)
az storage container create --name $AKS_AIRFLOW_LOGS_STORAGE_CONTAINER_NAME --account-name $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME --output table --account-key $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_KEY
az keyvault secret set --vault-name $MY_KEYVAULT_NAME --name AKS-AIRFLOW-LOGS-STORAGE-ACCOUNT-NAME --value $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME
az keyvault secret set --vault-name $MY_KEYVAULT_NAME --name AKS-AIRFLOW-LOGS-STORAGE-ACCOUNT-KEY --value $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_KEY

Ejemplo:

AccessTier    AllowBlobPublicAccess    AllowCrossTenantReplication    CreationTime                      EnableHttpsTrafficOnly    Kind       Location       MinimumTlsVersion    Name              PrimaryLocation    ProvisioningState    ResourceGroup      StatusOfPrimary
------------  -----------------------  -----------------------------  --------------------------------  ------------------------  ---------  -------------  -------------------  ----------------  -----------------  -------------------  -----------------  -----------------
Hot           False                    False                          2024-11-07T00:22:13.323104+00:00  True                      StorageV2  $MY_LOCATION   TLS1_0               airflowsasabfbje  $MY_LOCATION       Succeeded            $MY_RESOURCE_GROUP_NAME  available
Created
---------
True

Creación de un clúster de AKS

En este paso, se crea un clúster de AKS con la identidad de carga de trabajo y el emisor de OIDC habilitado. La identidad de carga de trabajo concede permiso a la cuenta del servicio Operador de secretos externos para acceder a las contraseñas de Airflow guardadas en el almacén de claves.

Cree un clúster de AKS con el comando az aks create.

az aks create \
--location $MY_LOCATION \
--name $MY_CLUSTER_NAME \
--tier standard \
--resource-group $MY_RESOURCE_GROUP_NAME \
--network-plugin azure  \
--node-vm-size Standard_DS4_v2 \
--node-count 3 \
--auto-upgrade-channel stable \
--node-os-upgrade-channel NodeImage \
--attach-acr ${MY_ACR_REGISTRY} \
--enable-oidc-issuer \
--enable-blob-driver \
--enable-workload-identity \
--zones 1 2 3 \
--generate-ssh-keys \
--output table

Ejemplo:

AzurePortalFqdn                                                                 CurrentKubernetesVersion    DisableLocalAccounts    DnsPrefix                           EnableRbac    Fqdn                                                                     KubernetesVersion    Location       MaxAgentPools    Name                NodeResourceGroup                                      ProvisioningState    ResourceGroup            ResourceUid                           SupportPlan
------------------------------------------------------------------------------  --------------------------  ----------------------  ----------------------------------  ------------  -----------------------------------------------------------------------  -------------------  -------------  ---------------  ------------------  -----------------------------------------------------  -------------------  -----------------------  ------------------------------------  ------------------
apache-air-apache-airflow-r-363a0a-rhf6saad.portal.hcp.$MY_LOCATION.azmk8s.io   1.29.9                      False                   apache-air-apache-airflow-r-363a0a  True          apache-air-apache-airflow-r-363a0a-rhf6saad.hcp.$MY_LOCATION.azmk8s.io   1.29                 $MY_LOCATION   100              $MY_CLUSTER_NAME    MC_apache-airflow-rg_apache-airflow-aks_$MY_LOCATION   Succeeded            $MY_RESOURCE_GROUP_NAME  b1b1b1b1-cccc-dddd-eeee-f2f2f2f2f2f2  KubernetesOfficial

Obtenga la dirección URL del emisor de OIDC que se usará para la configuración de identidad de carga de trabajo mediante el comando az aks show.

export OIDC_URL=$(az aks show --resource-group $MY_RESOURCE_GROUP_NAME --name $MY_CLUSTER_NAME --query oidcIssuerProfile.issuerUrl --output tsv)

Asigne el rol AcrPull a la identidad de kubelet mediante el comando az role assignment create.

export KUBELET_IDENTITY=$(az aks show -g $MY_RESOURCE_GROUP_NAME --name $MY_CLUSTER_NAME --output tsv --query identityProfile.kubeletidentity.objectId)
az role assignment create \
--assignee ${KUBELET_IDENTITY} \
--role "AcrPull" \
--scope ${MY_ACR_REGISTRY_ID} \
--output table

Ejemplo:

CreatedBy                             CreatedOn                         Name                                  PrincipalId                           PrincipalName                         PrincipalType     ResourceGroup            RoleDefinitionId                                                                                                                            RoleDefinitionName    Scope                                                                                                                                                             UpdatedBy                             UpdatedOn
------------------------------------  --------------------------------  ------------------------------------  ------------------------------------  ------------------------------------  ----------------  -----------------------  ------------------------------------------------------------------------------------------------------------------------------------------  --------------------  ----------------------------------------------------------------------------------------------------------------------------------------------------------        ------------------------------------  --------------------------------
ccccdddd-2222-eeee-3333-ffff4444aaaa  2024-11-07T00:43:26.905445+00:00  b1b1b1b1-cccc-dddd-eeee-f2f2f2f2f2f2  bbbbbbbb-cccc-dddd-2222-333333333333  cccccccc-dddd-eeee-3333-444444444444  ServicePrincipal  $MY_RESOURCE_GROUP_NAME  /subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/providers/Microsoft.Authorization/roleDefinitions/7f951dda-4ed3-4680-a7ca-43fe172d538d  AcrPull               /subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/$MY_RESOURCE_GROUP_NAME/providers/Microsoft.ContainerRegistry/registries/mydnsrandomnamebfbje  ccccdddd-2222-eeee-3333-ffff4444aaaa  2024-11-07T00:43:26.905445+00:00

Conexión al clúster de AKS

Configure kubectl para conectarse a su clúster AKS mediante el comando az aks get-credentials.

az aks get-credentials --resource-group $MY_RESOURCE_GROUP_NAME --name $MY_CLUSTER_NAME --overwrite-existing --output table

Cargar imágenes de Apache Airflow en el registro de contenedor

En esta sección, descargamos las imágenes Apache Airflow de Docker Hub y las cargamos en Azure Container Registry. Este paso garantiza que las imágenes están disponibles en el registro privado y se pueden usar en el clúster de AKS. No se recomienda consumir la imagen pública en un entorno de producción.

Importe las imágenes de Airflow desde Docker Hub y cárguelas en el registro de contenedor mediante el comando az acr import.

az acr import --name $MY_ACR_REGISTRY --source docker.io/apache/airflow:airflow-pgbouncer-2024.01.19-1.21.0 --image airflow:airflow-pgbouncer-2024.01.19-1.21.0
az acr import --name $MY_ACR_REGISTRY --source docker.io/apache/airflow:airflow-pgbouncer-exporter-2024.06.18-0.17.0 --image airflow:airflow-pgbouncer-exporter-2024.06.18-0.17.0
az acr import --name $MY_ACR_REGISTRY --source docker.io/bitnami/postgresql:16.1.0-debian-11-r15 --image postgresql:16.1.0-debian-11-r15
az acr import --name $MY_ACR_REGISTRY --source quay.io/prometheus/statsd-exporter:v0.26.1 --image statsd-exporter:v0.26.1 
az acr import --name $MY_ACR_REGISTRY --source docker.io/apache/airflow:2.9.3 --image airflow:2.9.3 
az acr import --name $MY_ACR_REGISTRY --source registry.k8s.io/git-sync/git-sync:v4.1.0 --image git-sync:v4.1.0

Paso siguiente

Implementar Apache Airflow en Azure Kubernetes Service (AKS)

Colaboradores

Microsoft se encarga del mantenimiento de este artículo. Originalmente lo escribieron los siguientes colaboradores:

Don High | Ingeniero principal de clientes
Satya Chandragiri | Arquitecto sénior de soluciones en la nube digital
Erin Schaffer | Desarrollador de contenido 2

Compartir a través de

Crear la infraestructura para ejecutar Apache Airflow en Azure Kubernetes Service (AKS)

Requisitos previos

Establecimiento de variables de entorno

Crear un grupo de recursos

Creación de una identidad para acceder a secretos en Azure Key Vault

Creación de una instancia de Azure Key Vault

Creación de una instancia de Azure Container Registry

Creación de una cuenta de Azure Storage

Creación de un clúster de AKS

Conexión al clúster de AKS

Cargar imágenes de Apache Airflow en el registro de contenedor

Paso siguiente

Colaboradores

Comentarios

Recursos adicionales