Compartilhar via

Criar um cluster de Serviço de Kubernetes do Azure (AKS) privado

  • Artigo

Este artigo ajuda você a implantar um cluster do AKS baseado em link privado. Se você estiver interessado em criar um cluster do AKS sem o link ou túnel privado necessários, confira Criar um cluster do Serviço de Kubernetes do Azure com a Integração VNet do Servidor de API (versão prévia).

Visão geral

Em um cluster privado, o painel de controle ou o servidor de API tem endereços IP internos que são definidos no documento RFC1918 – Alocação de endereço para Internet privada. Usando um cluster privado, você pode garantir que o tráfego de rede entre o servidor de API e os pools de nós permaneça apenas na rede privada.

O painel de controle ou o servidor de API estão em um grupo de recursos do Azure gerenciado pelo AKS e o seu cluster ou pool de nós está no seu grupo de recursos. O servidor e o cluster ou o pool de nós podem se comunicar entre si por meio do serviço de Link Privado do Azure na rede virtual do servidor de API e um ponto de extremidade privado que é exposto na sub-rede do cluster do AKS.

Quando você provisiona um cluster privado do AKS, o AKS, por padrão, cria um FQDN privado com uma zona DNS privada e um FQDN público adicional com um registro A correspondente no DNS público do Azure. Os nós do agente continuam a usar o registro A na zona DNS privada para resolver o endereço IP privado do ponto de extremidade privado para comunicação com o servidor de API.

Disponibilidade de região

Os clusters privados estão disponíveis em regiões públicas, do Azure Governamental e do Microsoft Azure operado pela 21Vianet em que o AKS tem suporte.

Pré-requisitos

  • A CLI do Azure versão 2.28.0 ou superior. Execute az --version para localizar a versão e az upgrade para atualizar a versão. Se você precisa instalar ou atualizar, consulte Instalar a CLI do Azure.
  • A extensão aks-preview 0.5.29 ou posterior.
  • Se você estiver usando o ARM (Azure Resource Manager) ou a API REST do Azure, a versão da API do AKS precisará ser 2021-05-01 ou superior.
  • Para usar um servidor DNS personalizado, adicione o endereço IP público do Azure 168.63.129.16 como o servidor DNS upstream no servidor DNS personalizado e adicione esse endereço IP público como o primeiro servidor DNS. Para obter mais informações sobre o endereço IP do Azure, consulte O que é o endereço IP 168.63.129.16?
  • Os clusters do AKS existentes habilitados com a Integração VNet do Servidor de API podem ter o modo de cluster privado habilitado. Para obter mais informações, consulte Habilitar ou desabilitar o modo de cluster privado em um cluster existente com a Integração de VNet do Servidor de API.

Observação

O pool de nós do Linux do Azure agora está disponível em geral (GA). Para saber mais sobre os benefícios e as etapas de implantação, consulte a Introdução ao Host de Contêiner Linux do Azure para AKS.

Limitações

  • Os intervalos autorizados por IP não podem ser aplicados ao ponto de extremidade do servidor de API privado, eles se aplicam apenas ao servidor de API público.
  • As limitações do serviço de Link Privado do Azure se aplicam a clusters privados.
  • Não há suporte para Agentes do Azure DevOps hospedados pela Microsoft com clusters privados. Considere o uso de agentes auto-hospedados.
  • Se você precisar habilitar o Registro de Contêiner do Azure para trabalhar com um cluster privado do AKS, configure um link privado para o registro de contêiner na rede virtual do cluster ou configure o emparelhamento entre a rede virtual do registro de contêiner e a rede virtual do cluster privado.
  • Excluir ou modificar o ponto de extremidade privado na sub-rede do cliente fará com que o cluster pare de funcionar.
  • Há suporte para o serviço Link Privado do Azure apenas no Azure Load Balancer Standard. Não há suporte para Azure Load Balancer básico.

Criar um cluster de AKS privado

  1. Crie um grupo de recursos usando o comando az group create. Você também pode usar um grupo de recursos existente para seu cluster do AKS.

    az group create \
    --name <private-cluster-resource-group> \
    --location <location>

  2. Crie um cluster privado com rede básica padrão usando o comando az aks create com o sinalizador --enable-private-cluster.

    az aks create \
    --name <private-cluster-name> \
    --resource-group <private-cluster-resource-group> \
    --load-balancer-sku standard \
    --enable-private-cluster \
    --generate-ssh-keys

Conectar ao cluster privado

Para gerenciar um cluster do Kubernetes, use o cliente de linha de comando do Kubernetes, kubectl. kubectl já está instalado se você usa o Azure Cloud Shell. Para instalar kubectl localmente, use o comando az aks install-cli.

  1. Configure o kubectl para se conectar ao cluster do Kubernetes usando o comando az aks get-credentials. Este comando baixa as credenciais e configura a CLI do Kubernetes para usá-las.

    az aks get-credentials --resource-group <private-cluster-resource-group> --name <private-cluster-name>

  2. Verifique a conexão com o cluster usando o comando kubectl get. Esse comando retorna uma lista dos nós de cluster.

    kubectl get nodes

Usar domínios personalizados

Se você deseja configurar domínios personalizados que só podem ser resolvidos internamente, consulte Usar domínios personalizados .

Desabilitar um FQDN público

Desabilitar um FQDN público em um novo cluster

  • Desabilite um FQDN público ao criar um cluster do AKS privado usando o comando az aks create com o sinalizador --disable-public-fqdn.

    az aks create \
    --name <private-cluster-name> \
    --resource-group <private-cluster-resource-group> \
    --load-balancer-sku standard \
    --enable-private-cluster \
    --assign-identity <resourceID> \
    --private-dns-zone <private-dns-zone-mode> \
    --disable-public-fqdn \
    --generate-ssh-keys

Desabilitar um FQDN público em um cluster existente

  • Desabilite um FQDN público em um cluster do AKS existente usando o comando az aks update com o sinalizador --disable-public-fqdn.

    az aks update \
    --name <private-cluster-name> \
    --resource-group <private-cluster-resource-group> \
    --disable-public-fqdn

Configurar uma zona DNS privada

É possível configurar zonas DNS privadas usando os parâmetros a seguir:

  • system: é o valor padrão. Se o argumento --private-dns-zone for omitido, o AKS criará uma zona DNS privada no grupo de recursos do nó.
  • none: o padrão é DNS público. O AKS não criará uma zona DNS privada.
  • CUSTOM_PRIVATE_DNS_ZONE_RESOURCE_ID: isso exige que você crie uma zona DNS privada no seguinte formato para a nuvem global do Azure: privatelink.<region>.azmk8s.io ou <subzone>.privatelink.<region>.azmk8s.io. Você precisará da ID do recurso da zona DNS privada para uso futuro. Você também precisa de uma identidade ou entidade de serviço atribuída pelo usuário com as funções Colaborador de Zona DNS Privada e Colaborador de Rede. Ao implantar usando a integração VNet do servidor de API, uma zona DNS privada suporta o formato de nomenclatura private.<region>.azmk8s.io ou <subzone>.private.<region>.azmk8s.io. Você não pode alterar ou excluir este recurso depois de criar o cluster, pois isso pode causar problemas de desempenho e falhas de atualização de cluster.
    • Se a zona DNS privada estiver em uma assinatura diferente do cluster do AKS, você precisará registrar o provedor do Azure Microsoft.ContainerServices em ambas as assinaturas.
    • Você pode usar fqdn-subdomain com CUSTOM_PRIVATE_DNS_ZONE_RESOURCE_ID apenas para fornecer recursos de subdomínio para privatelink.<region>.azmk8s.io.
    • Se o cluster do AKS estiver configurado com uma entidade de serviço do Active Directory, o AKS não dará suporte ao uso de uma identidade gerenciada atribuída pelo sistema com uma zona DNS privada personalizada. O cluster deve usar a autenticação de identidade gerenciada atribuída pelo usuário.
    • Se você estiver especificando um <subzone>, haverá um limite de 32 caracteres para o nome <subzone>.

Observação

Você pode configurar CUSTOM_PRIVATE_DNS_ZONE_RESOURCE_ID usando um modelo do ARM ou a CLI do Azure. privateDNSZone aceita a zona DNS privada resourceID, conforme mostrado no exemplo a seguir:

properties.apiServerAccessProfile.privateDNSZone.
"apiServerAccessProfile": {
"enablePrivateCluster": true,
"privateDNSZone": "system|none|[resourceId(..., 'Microsoft.Network/privateDnsZones', 'privatelink.<region>.azmk8s.io']"
}

Crie um cluster do AKS privado com uma zona DNS privada

  • Crie um cluster do AKS privado com uma zona DNS privada usando o comando az aks create com os sinalizadores a seguir:

    az aks create \
    --name <private-cluster-name> \
    --resource-group <private-cluster-resource-group> \
    --load-balancer-sku standard \
    --enable-private-cluster \
    --assign-identity <resourceID> \
    --private-dns-zone [system|none] \
    --generate-ssh-keys

Crie um cluster do AKS privado com uma zona DNS privada personalizada ou uma subzona DNS privada

  • Crie um cluster AKS privado com uma zona ou subzona DNS privada personalizada usando o comando az aks create com os seguintes sinalizadores:

    # The custom private DNS zone name should be in the following format: "<subzone>.privatelink.<region>.azmk8s.io"

az aks create \
    --name <private-cluster-name> \
    --resource-group <private-cluster-resource-group> \
    --load-balancer-sku standard \
    --enable-private-cluster \
    --assign-identity <resourceID> \
    --private-dns-zone <custom private dns zone or custom private dns subzone resourceID> \
    --generate-ssh-keys

Crie um cluster do AKS privado com uma zona DNS privada personalizada e um subdomínio personalizado

  • Crie um cluster do AKS privado com uma zona DNS privada personalizada e um subdomínio utilizando o comando az aks create com os seguintes sinalizadores:

    # The custom private DNS zone name should be in one of the following formats: "privatelink.<region>.azmk8s.io" or "<subzone>.privatelink.<region>.azmk8s.io"

az aks create \
    --name <private-cluster-name> \
    --resource-group <private-cluster-resource-group> \
    --load-balancer-sku standard \
    --enable-private-cluster \
    --assign-identity <resourceID> \
    --private-dns-zone <custom private dns zone resourceID> \
    --fqdn-subdomain <subdomain> \
    --generate-ssh-keys

Atualizar um cluster privado de uma zona DNS privada para público

Você só pode atualizar de byo ou system para none. Não há suporte para nenhuma outra combinação de valores de atualização. Antes de atualizar, certifique-se de se conectar ao cluster privado.

Aviso

Ao atualiza um cluster privado de byo ou system para none, os nós do agente são alterados para usar um FQDN público. Em um cluster do AKS que usa Conjuntos de Dimensionamento de Máquinas Virtuais do Microsoft Azure, uma atualização de imagem de nó é executada para atualizar os seus nós com o FQDN público.

  • Atualize um cluster privado de byo ou system para none usando o comando az aks update com os seguintes sinalizadores:

    az aks update \
    --name <private-cluster-name> \
    --resource-group <private-cluster-resource-group> \
    --private-dns-zone none

Opções para se conectar ao cluster privado

O ponto de extremidade do servidor de API não tem nenhum endereço IP público. Para gerenciar o servidor de API, você precisa usar uma VM que tenha acesso à Rede Virtual (VNet) do Azure do cluster do AKS. Existem várias opções para estabelecer a conectividade de rede com o cluster privado:

Crie uma VM na mesma VNET já que o cluster AKS é a opção mais fácil. A rota expressa e as VPNs adicionam custos e exigem complexidade adicional de rede. O emparelhamento de rede virtual exige que você planeje os intervalos de CIDR de rede para garantir que não haja intervalos sobrepostos.

Emparelhamento de rede virtual

Para usar o emparelhamento de rede virtual, você precisa configurar um link entre a rede virtual e a zona de DNS privado.

  1. No portal do Azure, navegue até o grupo de recursos do nó e selecione o recurso de zona DNS privada.
  2. No menu de serviço, em Gerenciamento de DNS, selecione Links de Rede Virtual>Adicionar.
  3. Na página Adicionar Link de Rede Virtual, defina as seguintes configurações:
    • Nome do link: insira um nome para o link de rede virtual.
    • Rede Virtual: selecione a rede virtual que contém a VM.
  4. Selecione Criar para criar o link de rede virtual.
  5. Navegue até o grupo de recursos que contém a rede virtual do cluster e selecione o seu recurso de rede virtual.
  6. No menu de serviço, em Configurações, selecione Emparelhamentos>Adicionar.
  7. Na página Adicionar emparelhamento, defina as seguintes configurações:
    • Nome do link de emparelhamento: insira um nome para o link de emparelhamento.
    • Rede virtual: selecione a rede virtual da VM.
  8. Selecione Adicionar para criar o link de emparelhamento.

Para obter mais informações, consulte Emparelhamento de rede virtual do Azure.

Hub e spoke com DNS personalizado

As arquiteturas de hub e spoke geralmente são usadas para implantar redes no Azure. Em muitas dessas implantações, as configurações de DNS nas VNets spoke são definidas para fazer referência a um encaminhador DNS central para permitir a resolução de DNS local e baseada no Azure.

Hub de cluster privado e spoke

Ao implantar um cluster do AKS em um ambiente de rede desse tipo, há algumas considerações especiais:

  • Quando um cluster privado é provisionado, um ponto de extremidade privado (1) e uma zona DNS privada (2) são criados no grupo de recursos gerenciados pelo cluster por padrão. O cluster utiliza um registro A na zona privada para resolver o IP do ponto de extremidade privado para comunicação com o servidor da API.
  • A zona DNS privada é vinculada somente à VNet à qual os nós de cluster estão anexados (3). Isso significa que o ponto de extremidade privado só pode ser resolvido por hosts nessa VNet vinculada. Em cenários em que nenhum DNS personalizado está configurado na VNet (padrão), isso funciona sem problemas, pois os hosts apontam para 168.63.129.16 para o DNS que pode resolver os registros na zona DNS privada devido ao link.
  • Em cenários onde a VNet que contém o cluster tem configurações de DNS personalizadas (4), a implantação de cluster falhará, a menos que a zona DNS privada esteja vinculada à VNet que contém os solucionadores de DNS personalizados (5). Esse link pode ser criado manualmente depois da criação da zona privada, durante o provisionamento do cluster ou via automação na detecção da criação da zona usando mecanismos de implantação baseados em eventos (por exemplo, Grade de Eventos do Azure e Azure Functions). Para evitar falhas de cluster durante a implantação inicial, o cluster pode ser implantado com a ID do recurso de zona DNS privada. Isso só funciona com o tipo de recurso Microsoft.ContainerService/managedCluster e a versão da API 2022-07-01. Não há suporte para o uso de uma versão mais antiga com um modelo do ARM ou uma definição de recurso do Bicep.

Observação

O encaminhamento condicional não dá suporte a subdomínios.

Observação

Se você estiver usando traga sua própria tabela de rotas com o kubenet e traga seu próprio DNS com clusters privados, a criação do cluster falhará. Você precisa associar o RouteTable no grupo de recursos do nó à sub-rede após a criação do cluster falhar em tornar a criação bem-sucedida.

Usar uma conexão de ponto de extremidade privado

Um ponto de extremidade privado pode ser configurado para que uma VNet não precise ser emparelhada para se comunicar com o cluster privado. Crie um novo ponto de extremidade privado na rede virtual que contém os recursos de consumo e crie um link entre sua rede virtual e uma nova zona DNS privada na mesma rede.

Importante

Se a rede virtual estiver configurada com servidores DNS personalizados, o DNS privado precisará ser configurado adequadamente para o ambiente. Confira a documentação de resolução de nomes de redes virtuais para obter mais detalhes.

Criar um recurso de ponto de extremidade privado

Crie um recurso de ponto de extremidade privado na sua VNet:

  1. Na página inicial do portal do Azure, selecione Criar um recurso.
  2. Pesquise o Ponto de extremidade privado e selecione Criar>Ponto de extremidade privado.
  3. Selecione Criar.
  4. Na guia Básico, configure os seguintes valores:
    • Detalhes do projeto
      • Assinatura: selecione a assinatura na qual seu cluster privado está localizado.
      • Grupo de recursos: selecione o grupo de recursos que contém a sua rede virtual.
    • Detalhes da instância
      • Nome: insira um nome para o seu ponto de extremidade privado, como myPrivateEndpoint.
      • Região: selecione a mesma região que a da sua rede virtual.
  5. Selecione Avançar: Recurso e defina as seguintes configurações:
    • Método de conexão: Selecione Conectar-se a um recurso do Azure no meu diretório.
    • Assinatura: selecione a assinatura na qual seu cluster privado está localizado.
    • Tipo de recurso: Selecione Microsoft.ContainerService/managedClusters.
    • Recurso: selecione seu cluster privado.
    • Sub-recurso de destino : Selecione gerenciamento.
  6. Selecione Avançar: Rede Virtual e defina as seguintes configurações:
    • Rede
      • Rede virtual: selecione sua rede virtual.
      • Sub-rede: selecione sua sub-rede.
  7. Selecione Avançar: DNS>Avançar: Marcas e (opcionalmente) configure os valores-chave conforme necessário.
  8. Selecione Avançar: Revisar + criar>Criar.

Depois que o recurso for criado, registre o endereço IP privado do ponto de extremidade privado para uso futuro.

Criar uma zona DNS privada

Depois de criar o ponto de extremidade privado, crie uma nova zona DNS privada com o mesmo nome da zona DNS privada criada pelo cluster privado. Lembre-se de criar essa zona DNS na VNet que contém os recursos de consumo.

  1. No portal do Azure, navegue até o grupo de recursos do nó e selecione o recurso de zona DNS privada.
  2. No menu de serviço, em Gerenciamento de DNS, selecione Conjuntos de Registros e observe o seguinte:
    • O nome da zona DNS privada, que segue o padrão *.privatelink.<region>.azmk8s.io.
    • O nome do registro A (excluindo o nome DNS privado).
    • A vida útil (TTL).
  3. Na página inicial do portal do Azure, selecione Criar um recurso.
  4. Pesquise a zona DNS privada e selecione Criar>Zona DNS privada.
  5. Na guia Básico, configure os seguintes valores:
    • Detalhes do projeto:
      • Selecione sua Assinatura.
      • Selecione o grupo de recursos no qual você criou o ponto de extremidade privado.
    • Detalhes da instância
      • Nome: insira o nome da zona DNS recuperada das etapas anteriores.
      • A Região usa como padrão a localização do seu grupo de recursos.
  6. Selecione Examinar + criar>Criar.

Criar um registro A

Depois que a zona DNS privada for criada, crie um registro A, que associa o ponto de extremidade privado ao cluster privado:

  1. Vá para a zona de DNS privada que você criou nas etapas anteriores.
  2. No menu de serviço, em Gerenciamento de DNS, selecione Conjuntos de Registros>Adicionar.
  3. Na página Adicionar conjunto de registros, defina as seguintes configurações:
    • Nome: insira o nome recuperado do registro A na zona DNS do cluster privado.
    • Tipo: selecione A - Registro do endereço .
    • TTL: insira o número do registro A na zona DNS do cluster privado.
    • Unidade TTL: altere o valor do menu suspenso para corresponder ao do registro A da zona DNS do cluster privado.
    • Endereço IP: insira o endereço IP do ponto de extremidade privado criado.
  4. Selecione Adicionar para criar o registro A.

Importante

Ao criar o registro A, use apenas o nome e não o nome de domínio totalmente qualificado (FQDN).

Depois que o registro A for criado, vincule a zona DNS privada à rede virtual que acessará o cluster privado:

  1. Vá para a zona de DNS privada que você criou nas etapas anteriores.
  2. No menu de serviço, em Gerenciamento de DNS, selecione Links de Rede Virtual>Adicionar.
  3. Na página Adicionar Link de Rede Virtual, defina as seguintes configurações:
    • Nome do link: insira um nome para seu link de rede virtual.
    • Assinatura: selecione a assinatura na qual seu cluster privado está localizado.
    • Rede Virtual: selecione a rede virtual do cluster privado.
  4. Selecione Criar para criar o link.

Pode levar alguns minutos para a operação ser concluída. Depois que o link de rede virtual for criado, você poderá acessá-lo na guia Links de Rede Virtual que você usou na etapa 2.

Aviso

  • Se o cluster privado for interrompido e reiniciado, o serviço de link privado original do cluster privado será removido e recriado, o que interromperá a conexão entre seu ponto de extremidade privado e o cluster privado. Para resolver esse problema, exclua e recrie todos os pontos de extremidade privados criados pelo usuário vinculados ao cluster privado. Se os pontos de extremidade privados recriados tiverem novos endereços IP, você também precisará atualizar os registros DNS.
  • Se você atualizar os registros de DNS na zona de DNS privado, verifique se o host do qual você está tentando se conectar está usando os registros de DNS atualizados. Você pode verificar isso usando o comando nslookup. Se você perceber que as atualizações não estão refletidas na saída, talvez seja necessário liberar o cache de DNS em seu computador e tentar novamente.

Próximas etapas

Para as melhores práticas associadas, consulte Melhores práticas conectividade e segurança da rede no AKS.