你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

使用 Azure Kubernetes 服务 (AKS) 中的已授权 IP 地址范围保护对 API 服务器的访问

本文介绍如何使用 API 服务器已授权 IP 地址范围功能来限制哪些 IP 地址和 CIDR 可以访问控制平面。

Kubernetes API 服务器是 Kubernetes 控制平面的核心，也是与群集交互和管理群集的最重要方式。 为了提高群集的安全性并最大程度地降低攻击风险，我们建议限制可以访问 API 服务器的 IP 地址范围。 为此，可以使用 API 服务器已授权 IP 范围功能。

开始之前

• 需要安装并配置 Azure CLI 2.0.76 或更高版本。 运行 az --version 即可查找版本。 如果需要进行安装或升级，请参阅安装 Azure CLI。
• 若要了解将 AKS 群集与 Azure DevOps 集成时要包括的 IP 地址，请参阅 Azure DevOps 允许的 IP 地址和域 URL 一文。

限制

API 服务器已授权 IP 范围功能存在以下限制：

• API 服务器已授权 IP 范围功能已于 2019 年 10 月停用预览版。 对于在该功能停用预览版之后创建的群集，此功能仅在标准 SKU 负载均衡器上受支持。 启用了 API 服务器已授权 IP 范围功能的基本 SKU 负载均衡器上的任何现有群集可继续按原样工作。 但是，这些群集无法迁移到标准 SKU 负载均衡器。 如果升级 Kubernetes 版本和控制平面，现有群集仍可正常工作。
• 专用群集不支持 API 服务器已授权 IP 范围功能。
• 将此功能用于使用节点公共 IP 的群集时，使用节点公共 IP 的节点池必须使用公共 IP 前缀。 公共 IP 前缀必须添加为已授权范围。

API 服务器已授权 IP 范围的概述

Kubernetes API 服务器会公开基础 Kubernetes API，并为管理工具（如 kubectl 和 Kubernetes 仪表板）提供交互。 AKS 提供单租户群集控制平面和专用 API 服务器。 默认情况下，API 服务器会分配一个公共 IP 地址。 可以使用 Kubernetes 基于角色的访问控制 (Kubernetes RBAC) 或 Azure RBAC 来控制访问。

若要保护对其他可公开访问的 AKS 控制平面/API 服务器的访问，可以启用并使用已授权 IP 范围。 这些已授权 IP 范围仅允许定义的 IP 地址范围与 API 服务器通信。 任何从不属于这些授权 IP 范围的 IP 地址向 API 服务器发出的请求被阻止。

创建启用 API 服务器已授权 IP 范围的 AKS 群集

重要

群集默认使用可用于配置出站网关的标准 SKU 负载均衡器。 在创建群集期间启用 API 服务器已授权 IP 范围时，除了允许指定的范围以外，默认还允许群集的公共 IP。 对于 --api-server-authorized-ip-ranges，如果指定 "" 或不指定任何值，API 服务器授权的 IP 范围会被禁用。 请注意，如果使用的是 PowerShell，请使用 --api-server-authorized-ip-ranges=""（带等于号）来避免任何解析问题。

注意

应将以下范围添加到允许列表：

• 群集出口 IP 地址 (防火墙、NAT 网关或其他地址，具体取决于出站类型)。
• 代表你要从中管理群集的网络的任何范围。

可指定的 IP 范围数的上限为 200。

规则最多可能需要两分钟才生效。 在测试连接时，请等待相应时长的时间。

Azure CLI

创建启用了 API 服务器授权 IP 范围的群集时，可以使用 --api-server-authorized-ip-ranges 参数提供授权的公共 IP 地址范围列表。 指定 CIDR 范围时，请先指定该范围内的第一个 IP 地址。 例如，137.117.106.90/29 是有效范围，但请确保指定该范围内的第一个 IP 地址，如 137.117.106.88/29。

• 使用具有 --api-server-authorized-ip-ranges 参数的 az aks create 命令创建启用了 API 服务器授权 IP 范围的 AKS 群集。 以下示例在名为 myResourceGroup 的资源组中，创建名为 myAKSCluster、已启用 API 服务器已授权 IP 范围的群集。 允许的 IP 地址范围为 73.140.245.0/24：

  az aks create --resource-group myResourceGroup --name myAKSCluster --vm-set-type VirtualMachineScaleSets --load-balancer-sku standard --api-server-authorized-ip-ranges 73.140.245.0/24 --generate-ssh-keys
  

Azure PowerShell

创建启用了 API 服务器授权 IP 范围的群集时，可以使用 -ApiServerAccessAuthorizedIpRange 参数提供授权的公共 IP 地址范围列表。 指定 CIDR 范围时，请先指定该范围内的第一个 IP 地址。 例如，137.117.106.90/29 是有效范围，但请确保指定该范围内的第一个 IP 地址，如 137.117.106.88/29。

• 使用具有 -ApiServerAccessAuthorizedIpRange 参数的 New-AzAksCluster cmdlet 创建启用了 API 服务器授权 IP 范围的 AKS 群集。 以下示例在名为 myResourceGroup 的资源组中，创建名为 myAKSCluster、已启用 API 服务器已授权 IP 范围的群集。 允许的 IP 地址范围为 73.140.245.0/24：

  New-AzAksCluster -ResourceGroupName myResourceGroup -Name myAKSCluster -NodeVmSetType VirtualMachineScaleSets -LoadBalancerSku Standard -ApiServerAccessAuthorizedIpRange '73.140.245.0/24' -GenerateSshKey
  

Azure 门户

创建启用了 API 服务器授权 IP 范围的群集时，可以指定授权的公共 IP 地址范围列表。 指定 CIDR 范围时，请先指定该范围内的第一个 IP 地址。 例如，137.117.106.90/29 是有效范围，但请确保指定该范围内的第一个 IP 地址，如 137.117.106.88/29。

1. 在 Azure 门户主页中，选择“创建资源”>“容器”>“Azure Kubernetes 服务(AKS)”。
2. 根据需要配置群集设置。
3. 在“公共访问”下的“网络”部分中，选择“设置授权 IP 范围”。
4. 对于“指定 IP 范围”，请输入要授权访问 API 服务器的 IP 地址范围。
5. 根据需要配置群集设置的其余部分。
6. 准备就绪后，选择“查看 + 创建>创建”以创建群集。

为标准 SKU 负载均衡器指定出站 IP

创建启用了 API 服务器授权 IP 范围的群集时，还可以使用 --load-balancer-outbound-ips 或 --load-balancer-outbound-ip-prefixes 参数为群集指定出站 IP 地址或前缀。 参数中提供的所有 IP 都可以与 --api-server-authorized-ip-ranges 参数中的 IP 一起使用。

• 使用 --load-balancer-outbound-ips 参数创建启用了 API 服务器授权 IP 范围的 AKS 群集，并为标准 SKU 负载均衡器指定出站 IP 地址。 以下示例在名为 myResourceGroup 的资源组中创建一个名为 myAKSCluster 的群集，并启用了 API 服务器授权 IP 范围和出站 IP 地址 <public-ip-id-1> 和 <public-ip-id-2>：

  az aks create --resource-group myResourceGroup --name myAKSCluster --vm-set-type VirtualMachineScaleSets --load-balancer-sku standard --api-server-authorized-ip-ranges 73.140.245.0/24 --load-balancer-outbound-ips <public-ip-id-1>,<public-ip-id-2> --generate-ssh-keys
  

仅允许标准 SKU 负载均衡器的出站公共 IP

Azure CLI

在创建群集期间启用 API 服务器已授权 IP 范围时，除了允许指定的范围以外，默认还允许群集的标准 SKU 负载均衡器的出站公共 IP。 若要仅允许标准 SKU 负载均衡器的出站公共 IP，请在指定 --api-server-authorized-ip-ranges 参数时使用 0.0.0.0/32。

• 创建启用了 API 服务器授权 IP 范围的 AKS 群集，并使用 --api-server-authorized-ip-ranges 参数以仅允许标准 SKU 负载均衡器的出站公共 IP。 以下示例在名为 myResourceGroup 的资源组中创建一个名为 myAKSCluster 的群集，并启用了 API 服务器授权 IP 范围且仅允许标准 SKU 负载均衡器的出站公共 IP：

  az aks create --resource-group myResourceGroup --name myAKSCluster --vm-set-type VirtualMachineScaleSets --load-balancer-sku standard --api-server-authorized-ip-ranges 0.0.0.0/32 --generate-ssh-keys
  

Azure PowerShell

在创建群集期间启用 API 服务器已授权 IP 范围时，除了允许指定的范围以外，默认还允许群集的标准 SKU 负载均衡器的出站公共 IP。 若要仅允许标准 SKU 负载均衡器的出站公共 IP，请在指定 -ApiServerAccessAuthorizedIpRange 参数时使用 0.0.0.0/32。

• 创建启用了 API 服务器授权 IP 范围的 AKS 群集，并使用 -ApiServerAccessAuthorizedIpRange 参数以仅允许标准 SKU 负载均衡器的出站公共 IP。 以下示例在名为 myResourceGroup 的资源组中创建一个名为 myAKSCluster 的群集，并启用了 API 服务器授权 IP 范围且仅允许标准 SKU 负载均衡器的出站公共 IP：

  New-AzAksCluster -ResourceGroupName myResourceGroup -Name myAKSCluster -NodeVmSetType VirtualMachineScaleSets -LoadBalancerSku Standard -ApiServerAccessAuthorizedIpRange '0.0.0.0/32' -GenerateSshKey
  

Azure 门户

在创建群集期间启用 API 服务器已授权 IP 范围时，除了允许指定的范围以外，默认还允许群集的标准 SKU 负载均衡器的出站公共 IP。 若要仅允许标准 SKU 负载均衡器的出站公共 IP，请在指定 IP 范围时使用 0.0.0.0/32。

1. 在 Azure 门户主页中，选择“创建资源”>“容器”>“Azure Kubernetes 服务(AKS)”。
2. 根据需要配置群集设置。
3. 在“公共访问”下的“网络”部分中，选择“设置授权 IP 范围”。
4. 对于“指定 IP 范围”，请输入 0.0.0.0/32。 这仅允许标准 SKU 负载均衡器的出站公共 IP。
5. 根据需要配置群集设置的其余部分。
6. 准备就绪后，选择“查看 + 创建>创建”以创建群集。

更新现有群集的 API 服务器已授权 IP 范围

Azure CLI

• 使用具有 --api-server-authorized-ip-ranges 参数的 az aks update 命令更新现有群集的 API 服务器授权 IP 范围。 以下示例更新名为 myResourceGroup 的资源组中名为 myAKSCluster 的群集上的 API 服务器已授权 IP 范围。 要授权的 IP 地址范围为 73.140.245.0/24：

  az aks update --resource-group myResourceGroup --name myAKSCluster --api-server-authorized-ip-ranges 73.140.245.0/24
  

• 若要允许多个 IP 地址范围，可以列出多个 IP 地址，用逗号分隔。

  az aks update --resource-group myResourceGroup --name myAKSCluster --api-server-authorized-ip-ranges 73.140.245.0/24,193.168.1.0/24,194.168.1.0/24
  

  在指定 参数以仅允许标准 SKU 负载平衡器的公共 IP 时，也可以使用 0.0.0.0/32。

Azure PowerShell

• 使用具有 -ApiServerAccessAuthorizedIpRange 参数的 Set-AzAksCluster cmdlet 更新现有群集的 API 服务器授权 IP 范围。 以下示例更新名为 myResourceGroup 的资源组中名为 myAKSCluster 的群集上的 API 服务器已授权 IP 范围。 要授权的 IP 地址范围为 73.140.245.0/24：

  Set-AzAksCluster -ResourceGroupName myResourceGroup -Name myAKSCluster -ApiServerAccessAuthorizedIpRange '73.140.245.0/24'
  

  在指定 参数以仅允许标准 SKU 负载平衡器的公共 IP 时，也可以使用 0.0.0.0/32。

Azure 门户

1. 导航到 Azure 门户，选择要更新的 AKS 群集。
2. 在服务菜单中的“设置”下，选择“网络”。
3. 在“资源设置”下，选择“管理”。
4. 在授权 IP 范围页上，根据需要更新授权 IP 范围。
5. 完成后，选择“保存”。

禁用已授权 IP 范围

Azure CLI

• 使用 az aks update 命令禁用授权 IP 范围，并为 --api-server-authorized-ip-ranges 参数指定空范围 ""。

  az aks update --resource-group myResourceGroup --name myAKSCluster --api-server-authorized-ip-ranges ""
  

Azure PowerShell

• 使用 Set-AzAksCluster cmdlet 禁用授权 IP 范围，并为 -ApiServerAccessAuthorizedIpRange 参数指定空范围 ''。

  Set-AzAksCluster -ResourceGroupName myResourceGroup -Name myAKSCluster -ApiServerAccessAuthorizedIpRange ''
  

Azure 门户

1. 导航到 Azure 门户，选择要更新的 AKS 群集。
2. 在服务菜单中的“设置”下，选择“网络”。
3. 在“资源设置”下，选择“管理”。
4. 在“授权 IP 范围”页上，取消选中“设置授权 IP 范围”复选框。
5. 选择“保存”。

查找现有的已授权 IP 范围

Azure CLI

• 使用 az aks show 命令查找现有的授权 IP 范围，并将 --query 参数设置为 apiServerAccessProfile.authorizedIpRanges。

  az aks show --resource-group myResourceGroup --name myAKSCluster --query apiServerAccessProfile.authorizedIpRanges
  

Azure PowerShell

• 使用 Get-AzAksCluster cmdlet 查找现有的授权 IP 范围。

  Get-AzAksCluster -ResourceGroupName myResourceGroup -Name myAKSCluster | Select-Object -ExpandProperty ApiServerAccessProfile
  

Azure 门户

1. 导航到 Azure 门户并选择 AKS 群集。
2. 在服务菜单中的“设置”下，选择“网络”。 现有授权 IP 范围在“资源设置”下列出。

如何找到要包含在 --api-server-authorized-ip-ranges 中的 IP？

必须将开发计算机、工具或自动化 IP 地址添加到 AKS 群集的已批准 IP 范围列表，以便从该处访问 API 服务器。

另一种做法是在防火墙虚拟网络中的单独子网内，使用所需的工具配置 Jumpbox。 这假设环境有具有相应网络的防火墙，并且你已将防火墙 IP 添加到授权的范围。 同样，如果已强制建立从 AKS 子网到防火墙子网的隧道，那么也可以在群集子网中设置 jumpbox。

1. 使用以下命令检索 IP 地址：

   # Retrieve your IP address
   CURRENT_IP=$(dig +short "myip.opendns.com" "@resolver1.opendns.com")
   

2. 使用 Azure CLI 或 Azure PowerShell 将 IP 地址添加到批准列表中：

   # Add to AKS approved list using Azure CLI
   az aks update --resource-group $RG --name $AKSNAME --api-server-authorized-ip-ranges $CURRENT_IP/24,73.140.245.0/24
   
   # Add to AKS approved list using Azure PowerShell
   Set-AzAksCluster -ResourceGroupName $RG -Name $AKSNAME -ApiServerAccessAuthorizedIpRange '$CURRENT_IP/24,73.140.245.0/24'
   

注意

上述示例将另一个 IP 地址添加到批准的范围。 请注意，它仍然包含来自更新群集的 API 服务器已授权 IP 范围的 IP 地址。 如果未包含现有 IP 地址，则此命令会将它替换为新的 IP 地址，而不是将其添加到已授权的范围。 若要禁用已授权 IP 范围，请使用 az aks update 并指定空范围 ""。

另一种方法是在 Windows 系统上使用以下命令来获取公共 IPv4 地址，也可以遵循查找 IP 地址中的步骤。

Invoke-RestMethod http://ipinfo.io/json | Select -exp ip

也可以通过在 Internet 浏览器中搜索我的 IP 地址是什么来找到此地址。

对 API 服务器授权 IP 范围使用服务标记 -（预览版）

服务标记是指定与 Kubernetes 服务对应的一组 IP 地址的便捷方法。 可以使用服务标记指定 Kubernetes 服务的 IP 地址和 API 服务器授权 IP 范围内的特定 IP 地址，这些地址用逗号分隔。

限制

• 此功能与 API 服务器 VNet 集成不兼容。

重要

AKS 预览功能是可选择启用的自助功能。 预览功能是“按现状”和“按可用”提供的，不包括在服务级别协议和有限保证中。 AKS 预览功能是由客户支持尽最大努力部分覆盖。 因此，这些功能并不适合用于生产。 有关详细信息，请参阅以下支持文章：

• AKS 支持策略
• Azure 支持常见问题解答

安装 Azure CLI 预览扩展

1. 使用 [az extension add][az-extension-add] 命令安装 Azure CLI 预览扩展。

   az extension add --name aks-preview
   

2. 使用 [az extension update][az-extension-update] 命令更新扩展，确保拥有最新版本。

   az extension update --name aks-preview
   

注册服务标记授权 IP 功能标志

1. 使用 az feature register 命令注册 EnableServiceTagAuthorizedIPPreview 功能标志。

   az feature register --namespace "Microsoft.ContainerService" --name "EnableServiceTagAuthorizedIPPreview"
   

   只需几分钟时间即可完成注册。

2. 使用 az feature show 命令验证注册。

   az feature show --namespace "Microsoft.ContainerService" --name "EnableServiceTagAuthorizedIPPreview"
   

创建具有服务标记授权 IP 范围的 AKS 群集

使用 --api-server-authorized-ip-ranges 参数和服务标记 AzureCloud 创建具有服务标记授权 IP 范围的群集，以允许所有 Azure 服务访问 API 服务器并指定其他 IP 地址。

注意

--api-server-authorized-ip-ranges 参数中只允许一个服务标记。 无法指定多个服务标记。

az aks create --resource-group myResourceGroup \
  --name myAKSCluster \
  --api-server-authorized-ip-ranges AzureCloud,20.20.20.20

应该能够从属于 AzureCloud 服务标记的 Azure VM 或 Azure 服务中通过 curl 命令访问 API 服务器。

后续步骤

在本文中，你启用了 API 服务器已授权 IP 范围。 这是安全运行 AKS 群集的方法之一。 有关详细信息，请参阅 AKS 中应用程序和群集的 安全性概念以及有关 AKS 中群集安全性和升级的最佳做法。