Vytvoření infrastruktury pro spouštění Apache Airflow ve službě Azure Kubernetes Service (AKS)

V tomto článku vytvoříte prostředky infrastruktury potřebné ke spuštění Apache Airflow ve službě Azure Kubernetes Service (AKS).

Prerequisites

Pokud jste to ještě neudělali, projděte si přehled nasazení clusteru Apache Airflow ve službě Azure Kubernetes Service (AKS).
Předplatné služby Azure. Pokud žádné nemáte, vytvořte si bezplatný účet.
Azure CLI verze 2.61.0. Pokud chcete nainstalovat nebo upgradovat, přečtěte si téma Instalace Azure CLI.
Helm verze 3 nebo novější Postup instalace najdete v tématu Instalace Helm.
kubectl, který je ve výchozím nastavení nainstalovaný v Azure Cloud Shellu.
Úložiště GitHubu pro ukládání DAGů Airflow.
Docker nainstalovaný na místním počítači. Informace o instalaci najdete v tématu Get Docker.

Nastavení proměnných prostředí

Nastavte požadované proměnné prostředí pro použití v tomto průvodci:

random=$(echo $RANDOM | tr '[0-9]' '[a-z]')
export MY_LOCATION=canadacentral
export MY_RESOURCE_GROUP_NAME=apache-airflow-rg
export MY_IDENTITY_NAME=airflow-identity-123
export MY_ACR_REGISTRY=mydnsrandomname$(echo $random)
export MY_KEYVAULT_NAME=airflow-vault-$(echo $random)-kv
export MY_CLUSTER_NAME=apache-airflow-aks
export SERVICE_ACCOUNT_NAME=airflow
export SERVICE_ACCOUNT_NAMESPACE=airflow
export AKS_AIRFLOW_NAMESPACE=airflow
export AKS_AIRFLOW_CLUSTER_NAME=cluster-aks-airflow
export AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME=airflowsasa$(echo $random)
export AKS_AIRFLOW_LOGS_STORAGE_CONTAINER_NAME=airflow-logs
export AKS_AIRFLOW_LOGS_STORAGE_SECRET_NAME=storage-account-credentials

Vytvoření skupiny zdrojů

Vytvořte skupinu prostředků pomocí příkazu az group create.

az group create --name $MY_RESOURCE_GROUP_NAME --location $MY_LOCATION --output table

Příklad výstupu:

Location       Name
-------------  -----------------
$MY_LOCATION   $MY_RESOURCE_GROUP_NAME

Vytvoření identity pro přístup k tajným kódům ve službě Azure Key Vault

V tomto kroku vytvoříme spravovanou identitu přiřazenou uživatelem, kterou operátor externích tajných kódů používá pro přístup k heslům Airflow uloženým ve službě Azure Key Vault.

Vytvořte spravovanou identitu přiřazenou uživatelem pomocí příkazu az identity create.

az identity create --name $MY_IDENTITY_NAME --resource-group $MY_RESOURCE_GROUP_NAME --output table
export MY_IDENTITY_NAME_ID=$(az identity show --name $MY_IDENTITY_NAME --resource-group $MY_RESOURCE_GROUP_NAME --query id --output tsv)
export MY_IDENTITY_NAME_PRINCIPAL_ID=$(az identity show --name $MY_IDENTITY_NAME --resource-group $MY_RESOURCE_GROUP_NAME --query principalId --output tsv)
export MY_IDENTITY_NAME_CLIENT_ID=$(az identity show --name $MY_IDENTITY_NAME --resource-group $MY_RESOURCE_GROUP_NAME --query clientId --output tsv)

Příklad výstupu:

ClientId                              Location       Name                  PrincipalId                           ResourceGroup            TenantId
------------------------------------  -------------  --------------------  ------------------------------------  -----------------------  ------------------------------------  
00001111-aaaa-2222-bbbb-3333cccc4444  $MY_LOCATION   $MY_IDENTITY_NAME     aaaaaaaa-bbbb-cccc-1111-222222222222  $MY_RESOURCE_GROUP_NAME  aaaabbbb-0000-cccc-1111-dddd2222eeee

Vytvoření instance služby Azure Key Vault

Pomocí příkazu vytvořte instanci az keyvault create služby Azure Key Vault.

az keyvault create --name $MY_KEYVAULT_NAME --resource-group $MY_RESOURCE_GROUP_NAME --location $MY_LOCATION --enable-rbac-authorization false --output table
export KEYVAULTID=$(az keyvault show --name $MY_KEYVAULT_NAME --query "id" --output tsv)
export KEYVAULTURL=$(az keyvault show --name $MY_KEYVAULT_NAME --query "properties.vaultUri" --output tsv)

Příklad výstupu:

Location       Name                  ResourceGroup
-------------  --------------------  ----------------------
$MY_LOCATION   $MY_KEYVAULT_NAME     $MY_RESOURCE_GROUP_NAME

Vytvoření registru kontejneru Azure

Vytvořte registr kontejnerů Azure pro ukládání a správu imagí kontejnerů pomocí příkazu az acr create.

az acr create \
--name ${MY_ACR_REGISTRY} \
--resource-group $MY_RESOURCE_GROUP_NAME \
--sku Premium \
--location $MY_LOCATION \
--admin-enabled true \
--output table
export MY_ACR_REGISTRY_ID=$(az acr show --name $MY_ACR_REGISTRY --resource-group $MY_RESOURCE_GROUP_NAME --query id --output tsv)

Příklad výstupu:

NAME                  RESOURCE GROUP           LOCATION       SKU      LOGIN SERVER                     CREATION DATE         ADMIN ENABLED
--------------------  ----------------------   -------------  -------  -------------------------------  --------------------  ---------------
mydnsrandomnamebfbje  $MY_RESOURCE_GROUP_NAME  $MY_LOCATION   Premium  mydnsrandomnamebfbje.azurecr.io  2024-11-07T00:32:48Z  True

Vytvoření účtu úložiště Azure

Pomocí příkazu vytvořte účet úložiště Azure pro ukládání protokolů az acr create Airflow.

az storage account create --name $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME --resource-group $MY_RESOURCE_GROUP_NAME --location $MY_LOCATION --sku Standard_ZRS --output table
export AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_KEY=$(az storage account keys list --account-name $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME --query "[0].value" -o tsv)
az storage container create --name $AKS_AIRFLOW_LOGS_STORAGE_CONTAINER_NAME --account-name $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME --output table --account-key $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_KEY
az keyvault secret set --vault-name $MY_KEYVAULT_NAME --name AKS-AIRFLOW-LOGS-STORAGE-ACCOUNT-NAME --value $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME
az keyvault secret set --vault-name $MY_KEYVAULT_NAME --name AKS-AIRFLOW-LOGS-STORAGE-ACCOUNT-KEY --value $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_KEY

Příklad výstupu:

AccessTier    AllowBlobPublicAccess    AllowCrossTenantReplication    CreationTime                      EnableHttpsTrafficOnly    Kind       Location       MinimumTlsVersion    Name              PrimaryLocation    ProvisioningState    ResourceGroup      StatusOfPrimary
------------  -----------------------  -----------------------------  --------------------------------  ------------------------  ---------  -------------  -------------------  ----------------  -----------------  -------------------  -----------------  -----------------
Hot           False                    False                          2024-11-07T00:22:13.323104+00:00  True                      StorageV2  $MY_LOCATION   TLS1_0               airflowsasabfbje  $MY_LOCATION       Succeeded            $MY_RESOURCE_GROUP_NAME  available
Created
---------
True

Vytvoření clusteru AKS

V tomto kroku vytvoříme cluster AKS s povolenou identitou úloh a vystavitelem OIDC. Tato konfigurace vytvoří cluster AKS s vysokou dostupností optimalizovaný pro spouštění produkčních úloh, jako je Apache Airflow. Zřídí cluster se třemi uzly pomocí Standard_DS4_v2 virtuálních počítačů napříč třemi zónami dostupnosti pro zajištění odolnosti. Cluster je integrován s ACR pro zabezpečené stahování obrazů a zahrnuje vydavatele OIDC a podporu identity úloh pro zabezpečený přístup k prostředkům Azure založený na identitě. Umožňuje také síťový plug-in Azure CNI, Blob CSI ovladač a automatické upgrady operačních systémů uzlů a verzí Kubernetes pro zlepšení výkonu a zabezpečení.

Vytvořte cluster AKS pomocí příkazu az aks create.

az aks create \
--location $MY_LOCATION \
--name $MY_CLUSTER_NAME \
--tier standard \
--resource-group $MY_RESOURCE_GROUP_NAME \
--network-plugin azure  \
--node-vm-size Standard_DS4_v2 \
--node-count 3 \
--auto-upgrade-channel stable \
--node-os-upgrade-channel NodeImage \
--attach-acr ${MY_ACR_REGISTRY} \
--enable-oidc-issuer \
--enable-blob-driver \
--enable-workload-identity \
--zones 1 2 3 \
--generate-ssh-keys \
--output table

Příklad výstupu:

AzurePortalFqdn                                                                 CurrentKubernetesVersion    DisableLocalAccounts    DnsPrefix                           EnableRbac    Fqdn                                                                     KubernetesVersion    Location       MaxAgentPools    Name                NodeResourceGroup                                      ProvisioningState    ResourceGroup            ResourceUid                           SupportPlan
------------------------------------------------------------------------------  --------------------------  ----------------------  ----------------------------------  ------------  -----------------------------------------------------------------------  -------------------  -------------  ---------------  ------------------  -----------------------------------------------------  -------------------  -----------------------  ------------------------------------  ------------------
apache-air-apache-airflow-r-363a0a-rhf6saad.portal.hcp.$MY_LOCATION.azmk8s.io   1.29.9                      False                   apache-air-apache-airflow-r-363a0a  True          apache-air-apache-airflow-r-363a0a-rhf6saad.hcp.$MY_LOCATION.azmk8s.io   1.29                 $MY_LOCATION   100              $MY_CLUSTER_NAME    MC_apache-airflow-rg_apache-airflow-aks_$MY_LOCATION   Succeeded            $MY_RESOURCE_GROUP_NAME  b1b1b1b1-cccc-dddd-eeee-f2f2f2f2f2f2  KubernetesOfficial

Získejte pomocí příkazu az aks show adresu URL vystavitele OIDC, která se má použít pro konfiguraci identity pracovní zátěže.

export OIDC_URL=$(az aks show --resource-group $MY_RESOURCE_GROUP_NAME --name $MY_CLUSTER_NAME --query oidcIssuerProfile.issuerUrl --output tsv)

Pomocí příkazu AcrPull přiřaďte roli k identitě kubeletu az role assignment create.

export KUBELET_IDENTITY=$(az aks show -g $MY_RESOURCE_GROUP_NAME --name $MY_CLUSTER_NAME --output tsv --query identityProfile.kubeletidentity.objectId)
az role assignment create \
--assignee ${KUBELET_IDENTITY} \
--role "AcrPull" \
--scope ${MY_ACR_REGISTRY_ID} \
--output table

Příklad výstupu:

CreatedBy                             CreatedOn                         Name                                  PrincipalId                           PrincipalName                         PrincipalType     ResourceGroup            RoleDefinitionId                                                                                                                            RoleDefinitionName    Scope                                                                                                                                                             UpdatedBy                             UpdatedOn
------------------------------------  --------------------------------  ------------------------------------  ------------------------------------  ------------------------------------  ----------------  -----------------------  ------------------------------------------------------------------------------------------------------------------------------------------  --------------------  ----------------------------------------------------------------------------------------------------------------------------------------------------------        ------------------------------------  --------------------------------
ccccdddd-2222-eeee-3333-ffff4444aaaa  2024-11-07T00:43:26.905445+00:00  b1b1b1b1-cccc-dddd-eeee-f2f2f2f2f2f2  bbbbbbbb-cccc-dddd-2222-333333333333  cccccccc-dddd-eeee-3333-444444444444  ServicePrincipal  $MY_RESOURCE_GROUP_NAME  /subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/providers/Microsoft.Authorization/roleDefinitions/7f951dda-4ed3-4680-a7ca-43fe172d538d  AcrPull               /subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/$MY_RESOURCE_GROUP_NAME/providers/Microsoft.ContainerRegistry/registries/mydnsrandomnamebfbje  ccccdddd-2222-eeee-3333-ffff4444aaaa  2024-11-07T00:43:26.905445+00:00

Připojení ke clusteru AKS

Nakonfigurujte kubectl pro připojení ke clusteru AKS pomocí příkazu az aks get-credentials.

az aks get-credentials --resource-group $MY_RESOURCE_GROUP_NAME --name $MY_CLUSTER_NAME --overwrite-existing --output table

Nahrání imagí Apache Airflow do registru kontejneru

V této části stáhneme image Apache Airflow z Docker Hubu a nahrajeme je do služby Azure Container Registry. Tento krok zajistí dostupnost imagí ve vašem privátním registru a dá se použít v clusteru AKS. Nedoporučujeme používat veřejnou image v produkčním prostředí.

Importujte image Airflow z Docker Hubu a nahrajte je do registru kontejneru az acr import pomocí příkazu.

az acr import --name $MY_ACR_REGISTRY --source docker.io/apache/airflow:airflow-pgbouncer-2025.03.05-1.23.1 --image airflow:airflow-pgbouncer-2025.03.05-1.23.1
az acr import --name $MY_ACR_REGISTRY --source docker.io/apache/airflow:airflow-pgbouncer-exporter-2025.03.05-0.18.0 --image airflow:airflow-pgbouncer-exporter-2025.03.05-0.18.0
az acr import --name $MY_ACR_REGISTRY --source docker.io/bitnamilegacy/postgresql:16.1.0-debian-11-r15 --image postgresql:16.1.0-debian-11-r15
az acr import --name $MY_ACR_REGISTRY --source quay.io/prometheus/statsd-exporter:v0.28.0 --image statsd-exporter:v0.28.0 
az acr import --name $MY_ACR_REGISTRY --source docker.io/apache/airflow:3.0.2 --image airflow:3.0.2 
az acr import --name $MY_ACR_REGISTRY --source registry.k8s.io/git-sync/git-sync:v4.3.0 --image git-sync:v4.3.0

Další krok

Nasazení Apache Airflow ve službě Azure Kubernetes Service (AKS)

Contributors

Microsoft udržuje tento článek. Následující přispěvatelé ho původně napsali:

Don High | Hlavní zákaznický inženýr
Satya Chandragiri | Senior Digital Cloud Solution Architect
Erin Schaffer | Content Developer 2

Váš názor

Byla tato stránka užitečná?

Poslední aktualizace v 2025-08-07

Vytvoření infrastruktury pro spouštění Apache Airflow ve službě Azure Kubernetes Service (AKS)

Prerequisites

Nastavení proměnných prostředí

Vytvoření skupiny zdrojů

Vytvoření identity pro přístup k tajným kódům ve službě Azure Key Vault

Vytvoření instance služby Azure Key Vault

Vytvoření registru kontejneru Azure

Vytvoření účtu úložiště Azure

Vytvoření clusteru AKS

Připojení ke clusteru AKS

Nahrání imagí Apache Airflow do registru kontejneru

Další krok

Contributors

Váš názor

Další materiály