Implantar o serviço Kubernetes do Azure no Azure Stack Edge

APLICA-SE A:Azure Stack Edge Pro - GPUAzure Stack Edge Pro 2Azure Stack Edge Pro R

Observação

Use este procedimento somente se você for um cliente SAP ou PMEC.

Este artigo descreve como implantar e gerenciar o serviço de Kubernetes do Azure (AKS) em seu dispositivo Azure Stack Edge. Você também pode usar este artigo para criar volumes persistentes, usar GitOps para gerenciar um cluster Kubernetes habilitado para Arc e remover AKS e Azure Arc.

O público-alvo deste artigo são administradores de TI familiarizados com a configuração e a implantação de cargas de trabalho no dispositivo Azure Stack Edge.

Sobre o serviço Kubernetes do Azure no Azure Stack Edge

O Azure Stack Edge é um dispositivo de computação de borda habilitado para IA com recursos de E/S de rede de alto desempenho. Depois de configurar a computação em seu dispositivo Azure Stack Edge, você pode usar o portal do Azure para implantar o serviço Kubernetes do Azure, incluindo VMs de infraestrutura. O cluster AKS é usado para implantação de carga de trabalho por meio do Azure Arc.

Pré-requisitos

Antes de começar, verifique se:

• Você tem uma conta da Microsoft com credenciais para acessar o portal do Azure e acesso a um dispositivo de GPU do Azure Stack Edge Pro. O dispositivo Azure Stack Edge é configurado e ativado usando instruções em Configurar e ativar seu dispositivo.

• Você tem pelo menos um comutador virtual criado e habilitado para computação em seu dispositivo Azure Stack Edge. Para obter etapas detalhadas, consulte Criar comutadores virtuais.

• Você tem um cliente para acessar seu dispositivo que esteja executando um sistema operacional compatível. Se estiver usando um cliente Windows, verifique se ele está executando o PowerShell 5.0 ou posterior.

• Antes de habilitar o Azure Arc no cluster do Kubernetes, verifique se você habilitou e registrou Microsoft.Kubernetes provedores de recursos em Microsoft.KubernetesConfiguration sua assinatura. Para obter etapas detalhadas, consulte Registrar provedores de recursos por meio da CLI do Azure.

• Se você pretende implantar o cluster do Azure Arc for Kubernetes, será necessário criar um grupo de recursos. Você deve ter acesso de nível de proprietário ao grupo de recursos.

  Para verificar o nível de acesso do grupo de recursos, vá para Controle de acesso do grupo>de recursos (IAM)>Exibir meu acesso. Em Atribuições de função, você deve estar listado como um Proprietário.

  

Dependendo das cargas de trabalho que você pretende implantar, talvez seja necessário garantir que as seguintes etapas opcionais também sejam concluídas:

• Se você pretende implantar locais personalizados em seu cluster habilitado para Arc, será necessário registrar o Microsoft.ExtendedLocation provedor de recursos em sua assinatura.

  Você deve buscar a ID do objeto de local personalizado e usá-la para habilitar locais personalizados por meio da interface do PowerShell do seu dispositivo.

  az login
  az ad sp show --id bc313c14-387c-4e7d-a58e-70417303ee3b --query id -o tsv
  

  Aqui está um exemplo de saída usando a CLI do Azure. Você pode executar os mesmos comandos por meio do Cloud Shell no portal do Azure.

  PS /home/user> az ad sp show --id bc313c14-388c-4e7d-a58e-70017303ee3b --query id -o tsv
  51dfe1e8-70c6-4de5-a08e-e18aff23d815
  PS /home/user>
  

  Para obter mais informações, consulte Criar e gerenciar locais personalizados no Kubernetes habilitado para Arc.

• Se estiver implantando cargas de trabalho Kubernetes ou PMEC:

  • Você pode ter selecionado um perfil de carga de trabalho específico usando a interface do usuário local ou usando o PowerShell. As etapas detalhadas são documentadas para a interface do usuário local em Configurar IPS de computação e para o PowerShell em Alterar perfis de carga de trabalho do Kubernetes.
  • Talvez você precise de redes virtuais adicionadas usando as instruções em Criar redes virtuais.

• Se você estiver usando VMs HPN como suas VMs de infraestrutura, as vCPUs deverão ser reservadas automaticamente. Execute o seguinte comando para verificar a reserva:

  Get-HcsNumaLpMapping
  

• Essa configuração é aplicada quando você instala ou atualiza para o Azure Stack Edge 2307. Há dois cenários em que a configuração não será aplicada durante a atualização:

  • Quando você tem mais vCPUs minroot configuradas do que as quatro vCPUs do Numa0 + Todas as vCPUs do Numa1. Esse cenário se aplica principalmente aos clientes de gateway do Azure Stack Edge que configuram todas as vCPUs para minroot. Para o Azure Stack Edge Pro 2, há apenas um Numa. Para o Azure Stack Edge Pro 2 com 40 núcleos, são mais vCPUs minroot configuradas do que 24 vCPUs, e para o Azure Stack Edge Pro 2 com 48 vCPUs são mais de 28 vCPUs configuradas.

  • Quando você tem VMs HPN implantadas e está consumindo mais de 16 vCPUs em uma máquina com 40 núcleos ou mais de 20 vCPUs em uma máquina com 48 núcleos para VMs HPN.

  Azure Stack Edge Pro GPU

  Veja um exemplo de saída para a GPU do Azure Stack Edge Pro:

  Hardware:
    { Numa Node #0 : CPUs [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19] }
  
    { Numa Node #1 : CPUs [20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39] }
  
  HpnCapableLpMapping:
    { Numa Node #0 : CPUs [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19] }
  
    { Numa Node #1 : CPUs [24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39] }
  
  7MT0SZ2:
   HpnLpMapping:
    { Numa Node #0 : CPUs [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19] }
  
    { Numa Node #1 : CPUs [] }
  
  HpnLpAvailable:
    { Numa Node #0 : CPUs [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19] }
  
    { Numa Node #1 : CPUs [] }
  

  Azure Stack Edge Pro 2

  Veja um exemplo de saída para o Azure Stack Edge Pro 2:

  Hardware:
    { Numa Node #0 : CPUs [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39] }
  
  HpnCapableLpMapping:
    { Numa Node #0 : CPUs [8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39] }
  
  B4P1076003103B:
  HpnLpMapping:
    { Numa Node #0 : CPUs [24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39] }
  
  HpnLpAvailable:
    { Numa Node #0 : CPUs [24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39] }
  

Implantar o AKS no Azure Stack Edge

Há várias etapas para implantar o AKS no Azure Stack Edge. Algumas etapas são opcionais, conforme observado abaixo.

Verifique se o AKS está habilitado

Para verificar se o AKS está habilitado, vá para o recurso Azure Stack Edge no portal do Azure. No painel Visão geral, selecione o bloco Serviço Kubernetes do Azure.

Definir locais personalizados (opcional)

1. Conecte-se à interface do PowerShell do dispositivo.

2. Execute o comando a seguir como uma opção para definir locais personalizados. Insira a ID do objeto de local personalizado que você buscou ao concluir seus pré-requisitos.

   Set-HcsKubeClusterArcInfo –CustomLocationsObjectId <custom_location_object_id>
   

   Aqui está um exemplo de saída usando a CLI do Azure. Você pode executar os mesmos comandos por meio do Cloud Shell no portal do Azure.

   [1d9nhq2.microsoftdatabox.com]: PS> Set-HcsKubeClusterArcInfo –CustomLocationsObjectId 51dfe1e8-70c6-4de5-a08e-e18aff23d815
   [1d9nhq2.microsoftdatabox.com]: PS>
   

Especificar pools de IP estáticos (opcional)

Uma etapa opcional onde você pode atribuir pools de IP para a rede virtual usada pelos pods do Kubernetes.

Observação

Os clientes SAP podem ignorar esta etapa.

Você pode especificar um pool de endereços IP estáticos para cada rede virtual habilitada para o Kubernetes. A rede virtual habilitada para o Kubernetes gera um NetworkAttachmentDefinition que é criado para o cluster do Kubernetes.

Durante o provisionamento de aplicativos, os pods do Kubernetes podem usar endereços IP estáticos no pool de IP para interfaces de rede de contêiner, como interfaces de virtualização de E/S de raiz única de contêiner (SR-IOV). Isso pode ser feito apontando para um NetworkAttachmentDefinition no PodSpec.

Use as etapas a seguir para atribuir pools de IP estáticos na interface do usuário local do seu dispositivo.

1. Vá para a página Rede avançada no portal do Azure.

2. Se você não criou redes virtuais anteriormente, selecione Adicionar rede virtual para criar uma rede virtual. Você precisa especificar o comutador virtual associado à rede virtual, ID da VLAN, máscara de sub-rede e gateway.

3. Em um exemplo mostrado aqui, configuramos três redes virtuais. Em cada uma dessas redes virtuais, a VLAN é 0 e a máscara de sub-rede e o gateway correspondem aos valores externos, por exemplo, 255.255.0.0 e 192.168.0.1.

   1. Primeira rede virtual – O nome é N2 e está associado à porta vswitch5.

   2. Segunda rede virtual – O nome é N3 e associado à porta vswitch5.

   3. Terceira rede virtual – O nome é N6 e associado ao vswitch-port6.

   4. Depois que todas as três redes virtuais estiverem configuradas, elas serão listadas nas redes virtuais, da seguinte maneira:

      

4. Atribua pools de endereços IP às redes virtuais:

   1. Na página Kubernetes, selecione uma rede virtual que você criou e habilite-a para o Kubernetes.

   2. Especifique um intervalo contíguo de IPs estáticos para pods do Kubernetes na rede virtual. Neste exemplo, um intervalo de um endereço IP foi fornecido para cada uma das três redes virtuais que criamos.

5. Selecione Aplicar para aplicar as alterações a todas as redes virtuais.

   Observação

   Não é possível modificar as configurações do pool de IP depois que o cluster AKS é implantado.

   

Configurar o comutador virtual de computação

Use esta etapa para configurar o comutador virtual para o tráfego de computação do Kubernetes.

1. Na interface do usuário local do seu dispositivo, vá para a página do Kubernetes .

2. Selecione Modificar para configurar um comutador virtual para o tráfego de computação do Kubernetes.

   

3. Habilite a computação em uma porta que tenha acesso à Internet. Por exemplo, nesse caso, a porta 2 que estava conectada à Internet está habilitada para computação. O acesso à Internet permite que você recupere imagens de contêiner do AKS.

   O IP virtual de serviços consistentes do Azure deve ser capaz de alcançar essa rede de comutador virtual de computação por meio de roteamento externo ou criando um IP virtual de serviços consistentes do Azure na mesma rede.

4. Para nós do Kubernetes, especifique um intervalo contíguo de seis IPs estáticos na mesma sub-rede que a rede para essa porta.

   Como parte da implantação do AKS, dois clusters são criados, um cluster de gerenciamento e um cluster de destino. Os IPs que você especificou são usados da seguinte maneira:

   • O cluster de gerenciamento precisa de dois IPs = 1 IP para interface de rede do plano de controle de gerenciamento + 1 IP para servidor de API (VIP).

   • O cluster de destino precisa de (2+n) IPs = 1 IP para a interface de rede do plano de controle do cluster de destino + 1 IP para o servidor de API (VIP) + número de nós, n.

   • Um IP extra é usado para atualizações contínuas.

     Para um único dispositivo de nó, o acima resulta em seis IPs para implantar um cluster Kubernetes. Para um cluster de dois nós, você precisa de sete IPs.

5. Para os IPs de serviço externo do Kubernetes, forneça IPs estáticos para serviços expostos fora do cluster do Kubernetes. Cada serviço requer um IP.

   

Habilitar o gerenciamento de nuvem de VM

Esta etapa é necessária para permitir que o portal do Azure Stack Edge implante as VMs de infraestrutura no dispositivo Azure Stack Edge para AKS; por exemplo, para o nó de trabalho do cluster de destino.

1. No portal do Azure, vá para seu recurso Azure Stack Edge.

2. Vá para Visão geral e selecione o bloco Máquinas virtuais.

   

3. Na página Visão geral de máquinas virtuais, selecione Habilitar para gerenciamento de nuvem de máquinas>virtuais.

   

Configurar o cluster do Kubernetes e habilitar o Arc

Use esta etapa para configurar e implantar o cluster do Kubernetes e habilitá-lo para gerenciamento via Arc.

Importante

Antes de criar o cluster do Kubernetes, lembre-se de que:

• Não é possível modificar as configurações do pool de IP depois que o cluster AKS é implantado.
• Como parte da habilitação do arco do cluster de destino AKS, os locais personalizados serão habilitados se a ID do objeto tiver sido passada usando o comando opcional na seção Definir locais personalizados (opcional) deste artigo. Se você não habilitou locais personalizados, ainda poderá optar por fazê-lo antes que o cluster do Kubernetes seja criado. Depois que a implantação do cluster for iniciada, você não poderá definir locais personalizados.

Siga estas etapas para implantar o cluster AKS.

1. No portal do Azure, vá para seu recurso Azure Stack Edge.

2. Selecione o bloco Serviço Kubernetes do Azure.

3. Selecione Adicionar para configurar o AKS.

4. Na caixa de diálogo Criar serviço Kubernetes, selecione o tamanho do Nó Kubernetes para a VM de infraestrutura. Selecione um tamanho de nó de VM apropriado para o tamanho da carga de trabalho que você está implantando. Neste exemplo, selecionamos o tamanho da VM Standard_F16s_HPN – 16 vCPUs, 32,77 GB de memória.

   Para implantações SAP, selecione o tamanho do nó da VM Standard_DS5_v2.

   Observação

   Se o menu suspenso de tamanho do nó não estiver preenchido, aguarde alguns minutos para que ele seja sincronizado depois que as VMs forem habilitadas na etapa anterior.

5. Marque Gerenciar contêiner da nuvem por meio do Kubernetes habilitado para Arc. Essa opção, quando marcada, habilita o Arc quando o cluster Kubernetes é criado.

6. Se você selecionar Alterar, precisará fornecer um nome de assinatura, grupo de recursos, nome de cluster e região.

   

   1. O nome da assinatura deve ser preenchido automaticamente.

   2. Especifique um nome de grupo de recursos exclusivo. Você também pode optar por usar o mesmo grupo de recursos no qual implantou seu recurso do Azure Stack Edge. Você deve ter acesso de nível de proprietário a esse grupo de recursos. Para verificar o nível de acesso do grupo de recursos, vá para Controle de acesso do grupo>de recursos (IAM)>Exibir meu acesso. Em Atribuições de função, você deve estar listado como um Proprietário.

      

   3. Especifique um nome para o cluster Kubernetes habilitado para Arc ou aceite o padrão.

   4. Selecione uma região onde o recurso para o cluster Kubernetes habilitado para Arc será criado. Uma lista filtrada de regiões com suporte é exibida na lista suspensa.

   5. Selecione Configurar. Você também pode redefinir as configurações do Arc selecionando a opção Redefinir para padrão .

7. Selecione Criar para criar o serviço Kubernetes.

   

8. Você será notificado quando a criação do cluster for iniciada.

   1. Depois que o cluster do Kubernetes for criado, você verá que o Serviço de Kubernetes do Azure está em execução.

      

      O Kubernetes habilitado para arco também aparecerá como Em execução.

      

      Se você estiver planejando implantar cargas de trabalho do Kubernetes, talvez seja necessário criar Volumes Persistentes para alocar armazenamento.

Adicionar um volume persistente

PersistentVolume (PV) refere-se a uma parte do armazenamento no cluster Kubernetes. O armazenamento do Kubernetes pode ser provisionado estaticamente como PersistentVolume. Ele também pode ser provisionado dinamicamente como StorageClass. Para obter mais informações, consulte Requisitos de armazenamento para pods do Kubernetes.

Há dois fluxos de trabalho diferentes para a criação de PVs, dependendo se a computação está habilitada embutida quando o compartilhamento é criado ou não. Cada um desses fluxos de trabalho é discutido nas seções a seguir.

Criar um volume persistente com computação embutida habilitada durante a criação de compartilhamento

No seu dispositivo Azure Stack Edge Pro, os provisionados PersistentVolumes estaticamente são criados usando os recursos de armazenamento do dispositivo. Quando você provisiona um compartilhamento e a opção Usar o compartilhamento com computação de borda está habilitada, essa ação cria automaticamente um recurso PV no cluster do Kubernetes.

Para usar a hierarquização na nuvem, você pode criar um compartilhamento de nuvem de Borda com a opção Usar o compartilhamento com computação de Borda habilitada. Um PV é criado novamente automaticamente para esse compartilhamento. Se você habilitar essa opção, todos os dados de aplicativo gravados no compartilhamento de Borda serão hierarquizados para a nuvem.

Criar um volume persistente com computação não habilitada embutida durante a criação de compartilhamento

Para os compartilhamentos que foram criados com a opção Usar o compartilhamento com computação de borda desmarcada, você pode adicionar um volume persistente usando as etapas a seguir.

1. No portal do Azure, vá para o recurso Azure Stack Edge para o dispositivo. Vá para Compartilhamentos do gateway>de armazenamento em nuvem. Você pode ver que o dispositivo atualmente tem compartilhamentos com o status Usado para computação habilitado.

   

2. Selecione + Adicionar compartilhamento. Para esse compartilhamento, verifique se a opção Usar o compartilhamento com computação de borda está desmarcada.

   

3. Você pode ver o compartilhamento recém-criado na lista de compartilhamentos e o status Usado para computação está Desabilitado.

   

4. Volte para a Visão geral do recurso Azure Stack Edge>. No painel direito, selecione o bloco Serviço Kubernetes do Azure.

   

5. Na página Visão Geral do Serviço>de Kubernetes do Azure, o bloco Volumes persistentes mostra os volumes persistentes existentes. Esses volumes foram criados automaticamente quando os compartilhamentos foram criados com a opção Usar o compartilhamento com computação de borda habilitada. Para criar um novo volume persistente, selecione + Adicionar volume persistente.

6. Na caixa de diálogo Adicionar volumes persistentes, selecione o compartilhamento para o qual você deseja criar o volume persistente.

   

7. Você verá uma notificação de que o volume persistente está sendo criado. Essa operação leva alguns minutos para ser concluída.

   

8. Depois que o volume persistente é criado, a página Visão geral é atualizada para incluir o volume persistente recém-adicionado.

   

9. Selecione Exibir todos os volumes persistentes para ver o volume persistente recém-criado.

Remover o serviço Kubernetes do Azure

Use as etapas a seguir no portal do Azure para remover o AKS.

1. Em seu recurso Azure Stack Edge, vá para Visão geral do serviço>de Kubernetes do Azure.

2. Na barra de comandos superior, selecione Remover.

   

3. Selecione o addon configurado que você deseja remover junto com o AKS. O Kubernetes habilitado para Azure Arc é um addon. Depois de selecionar Remover, todas as configurações do Kubernetes e o addon selecionado serão removidos. A operação é irreversível e não pode ser desfeita.

4. Selecione OK para confirmar a operação.

   

Próximas etapas

• Documentação de solução de problemas dos Serviços de Kubernetes do Azure.