在 Azure Kubernetes Service (AKS) 中設定 Azure CNI 網路功能,以動態配置 IP 並增強子網路支援

傳統 CNI 的一個缺點是,隨著 AKS 叢集的成長,會耗盡 Pod IP 位址,導致必須在更大的子網路中重建您的整個叢集。 Azure CNI 中的新動態 IP 配置功能可從獨立於託管 AKS 叢集之子網路的子網路配置 Pod IP,進而解決此問題。

它提供下列優點:

  • 更有效地利用 IP:IP 會從 Pod 子網路動態分配給叢集 Pod。 相較於傳統 CNI 解決方案,此方式可更有效地利用叢集中的 IP。
  • 具備擴充能力與彈性:節點和 Pod 子網路均可獨立擴充。 您可以在叢集的多個節點集區或部署在相同 VNet 中的多個 AKS 叢集中共用單一 Pod 子網路。 此外,您也可以為節點集區設定個別的 Pod 子網路。
  • 高效能:由於可為 Pod 指派虛擬網路 IP,因此,它們能夠直接連線至 VNet 中的其他叢集 Pod 和資源。 此解決方案可支援非常大量的叢集,且不會導致效能降低。
  • 為 Pod 提供個別 VNet 原則:由於 Pod 具有個別的子網路,因此可為其設定不同於節點原則的個別 VNet 原則。 這可實現許多實用案例,例如,僅針對 Pod 而非節點允許網際網路連線、使用 Azure NAT 閘道修正節點集區中 Pod 的來源 IP,以及使用 NSG 篩選節點集區之間的流量。
  • Kubernetes 網路原則:Azure 網路原則和 Calico 均可與這個新的解決方案搭配使用。

本文說明如何在 AKS 中使用 Azure CNI 網路,動態配置 IP 並增強子網路支援。

必要條件

注意

使用 IP 動態配置時,不支援使用 Kubernetes Load Balancer Service 將應用程式公開為 Private Link 服務。

  • 請檢閱在 AKS 中設定基本 Azure CNI 網路的必要條件 (部分機器翻譯),因為本文適用相同的必要條件。

  • 請檢閱在 AKS 中設定基本 Azure CNI 網路的部署參數 ,因為相同參數同樣適用。

  • 不支援 AKS 引擎和 DIY 叢集。

  • Azure CLI 2.37.0 版或更新版本。

  • 如果您有現有的叢集,則必須啟用容器見解來監視 IP 子網路使用方式。 您可以使用 az aks enable-addons 命令來啟用容器見解,如下列範例所示:

    az aks enable-addons --addons monitoring --name <cluster-name> --resource-group <resource-group-name>
    

規劃 IP 位址

使用此功能,規劃 IP 定址會更簡單。 由於節點和 Pod 能夠獨立擴充,因此亦可個別規劃其位址空間。 由於 Pod 子網路可設定為節點集區的細微性,因此,您一律可在新增節點集區時新增子網路。 叢集/節點集區中的系統 Pod 也會從 Pod 子網路接收 IP,因此必須將此行為納入考量。

IP 會以 16 個批次配置給節點。 Pod 子網路 IP 配置應規劃叢集中每個節點至少 16 個 IP;節點在啟動時要求 16 個 IP,而且每當其配置中未配置大於 8 個 IP 時,將會要求另一批 16 個 IP。

Kubernetes 服務與 Docker 橋接器的 IP 規劃維持不變。

每個節點的最大 Pod 數目 (在具備動態 IP 配置和增強型子網路支援的叢集中)

使用 IP 動態配置的 Azure CNI 時,每個節點的 Pod 值會與傳統的 CNI 行為略有不同:

CNI 預設 可在部署時設定
傳統 Azure CNI 30 是 (最多 250 個)
具備動態 IP 配置的 Azure CNI 250 是 (最多 250 個)

與設定每個節點的最大 Pod 數目相關的所有其他指導均維持不變。

部署參數

在 AKS 中設定基本 Azure CNI 網路的部署參數全都有效,但有兩個例外:

  • 現在 subnet 參數是指與叢集節點相關的子網路。
  • 將使用其他參數 pod subnet 來指定 IP 位址將動態分配到 Pod 的子網路。

設定動態配置 IP 並增強子網路支援的網路 - Azure CLI

在叢集中使用動態 IP 配置和增強型子網路支援與設定叢集Azure CNI 的預設方法類似。 下列範例逐步說明如何建立含有節點子網路和 Pod 子網路的新虛擬網路,以及如何建立使用具備動態 IP 配置和增強型子網路支援之 Azure CNI 的叢集。 請務必將 $subscription 等變數取代為您自己的值。

建立具有兩個子網路的虛擬網路。

resourceGroup="myResourceGroup"
vnet="myVirtualNetwork"
location="westcentralus"

# Create the resource group
az group create --name $resourceGroup --location $location

# Create our two subnet network 
az network vnet create -resource-group $resourceGroup --location $location --name $vnet --address-prefixes 10.0.0.0/8 -o none 
az network vnet subnet create --resource-group $resourceGroup --vnet-name $vnet --name nodesubnet --address-prefixes 10.240.0.0/16 -o none 
az network vnet subnet create --resource-group $resourceGroup --vnet-name $vnet --name podsubnet --address-prefixes 10.241.0.0/16 -o none 

建立叢集,使用 --vnet-subnet-id 參考節點子網路並使用 --pod-subnet-id 參考 Pod 子網路,並啟用監視附加元件。

clusterName="myAKSCluster"
subscription="aaaaaaa-aaaaa-aaaaaa-aaaa"

az aks create --name $clusterName --resource-group $resourceGroup --location $location \
    --max-pods 250 \
    --node-count 2 \
    --network-plugin azure \
    --vnet-subnet-id /subscriptions/$subscription/resourceGroups/$resourceGroup/providers/Microsoft.Network/virtualNetworks/$vnet/subnets/nodesubnet \
    --pod-subnet-id /subscriptions/$subscription/resourceGroups/$resourceGroup/providers/Microsoft.Network/virtualNetworks/$vnet/subnets/podsubnet \
    --enable-addons monitoring

新增節點集區

新增節點集區時,請參考使用 --vnet-subnet-id 的節點子網路和使用 --pod-subnet-id 的 Pod 子網路。 下列範例會建立兩個新的子網路,可在建立新的節點集區時加以參考:

az network vnet subnet create -g $resourceGroup --vnet-name $vnet --name node2subnet --address-prefixes 10.242.0.0/16 -o none 
az network vnet subnet create -g $resourceGroup --vnet-name $vnet --name pod2subnet --address-prefixes 10.243.0.0/16 -o none 

az aks nodepool add --cluster-name $clusterName -g $resourceGroup  -n newnodepool \
    --max-pods 250 \
    --node-count 2 \
    --vnet-subnet-id /subscriptions/$subscription/resourceGroups/$resourceGroup/providers/Microsoft.Network/virtualNetworks/$vnet/subnets/node2subnet \
    --pod-subnet-id /subscriptions/$subscription/resourceGroups/$resourceGroup/providers/Microsoft.Network/virtualNetworks/$vnet/subnets/pod2subnet \
    --no-wait

監視 IP 子網路使用狀況

Azure CNI 提供監視 IP 子網路使用狀況方式的功能。 若要啟用 IP 子網路使用狀況監視,請遵循下列步驟:

取得 YAML 檔案

  1. GitHub 下載或 grep 名為 container-azm-ms-agentconfig.yaml 的檔案。

  2. 在整合中尋找 azure_subnet_ip_usage。 將 enabled 設定為 true

  3. 儲存檔案。

取得 AKS 認證

設定訂用帳戶、資源群組和叢集的變數。 請考慮下列範例:


    $s="subscriptionId"

    $rg="resourceGroup"

    $c="ClusterName"

    az account set -s $s

    az aks get-credentials -n $c -g $rg

套用設定

  1. 在已下載 container-azm-ms-agentconfig.yaml 檔案儲存所在的資料夾中開啟終端。

  2. 首先,使用下列命令套用設定:kubectl apply -f container-azm-ms-agentconfig.yaml

  3. 這將重新啟動 Pod,並在 5-10 分鐘之後顯示計量。

  4. 若要檢視叢集上的計量,請移至 Azure 入口網站中叢集頁面上的 [活頁簿],然後尋找名為「子網路 IP 使用狀況」的活頁簿。 您的檢視看起來將如下所示:

    A diagram of the Azure portal's workbook blade is shown, and metrics for an AKS cluster's subnet IP usage are displayed.

動態 IP 配置和增強型子網路支援的常見問題

  • 我可以將多個 Pod 子網路指派給叢集/節點集區嗎?

    您只能將一個子網路指派給叢集或節點集區。 不過,多個叢集或節點集區可共用單一子網路。

  • 我可以同時從不同的 VNet 指派 Pod 子網路嗎?

    不可以,Pod 子網路應該與叢集來自相同的 VNet。

  • 叢集中的節點集區是否可以部分使用傳統 CNI,然後其他使用新的 CNI?

    整個叢集只能使用一種 CNI。

下一步

在下列文章中深入了解 AKS 的網路功能: