Implantar o serviço Azure Kubernetes no Azure Stack Edge
APLICA-SE A: 
Azure Stack Edge Pro - GPUAzure Stack Edge Pro 2Azure Stack Edge Pro R
Observação
Use esse procedimento somente se você for um cliente SAP ou PMEC.
Esse artigo descreve como implantar e gerenciar o serviço Azure Kubernetes (AKS) no seu dispositivo Azure Stack Edge. Você também pode usar esse artigo para criar volumes persistentes, usar o GitOps para gerenciar um cluster Kubernetes habilitado para Arc e remover o AKS e o Azure Arc.
O público-alvo desse artigo são administradores de TI familiarizados com a configuração e implantação de cargas de trabalho no dispositivo Azure Stack Edge.
Sobre o serviço Azure Kubernetes no Azure Stack Edge
O Azure Stack Edge é um dispositivo de computação de ponta habilitado para IA com recursos de E/S de rede de alto desempenho. Depois de configurar a computação no seu dispositivo Azure Stack Edge, você pode usar o portal do Azure para implantar o serviço Azure Kubernetes, incluindo VMs de infraestrutura. O cluster AKS é então usado para implantação de carga de trabalho via Azure Arc.
Pré-requisitos
Antes de começar, verifique se:
Você tem uma conta da Microsoft com credenciais para acessar o portal do Azure e acesso a um dispositivo de GPU Azure Stack Edge Pro. O dispositivo Azure Stack Edge é configurado e ativado usando as instruções em Configurar e ativar seu dispositivo.
Você tem pelo menos um switch virtual criado e habilitado para computação no seu dispositivo Azure Stack Edge. Para obter etapas detalhadas, veja Criar switches virtuais.
Você tem um cliente para acessar seu dispositivo que está executando um sistema operacional compatível. Se estiver usando um cliente Windows, certifique-se de que ele esteja executando o PowerShell 5.0 ou posterior.
Antes de habilitar o Azure Arc no cluster do Kubernetes, certifique-se de ter habilitado e registrado os provedores de recursos
Microsoft.KuberneteseMicrosoft.KubernetesConfigurationem sua assinatura. Para obter etapas detalhadas, veja Registrar provedores de recursos por meio do CLI do Azure.Se você pretende implantar o cluster do Azure Arc para Kubernetes, precisará criar um grupo de recursos. Você deve ter acesso de nível de proprietário ao grupo de recursos.
Para verificar o nível de acesso do grupo de recursos, acesse Grupo de recursos>Controle de acesso (IAM)>Exibir meu acesso. Em Atribuições de funções, você deve ser listado como Proprietário.
Dependendo das cargas de trabalho que você pretende implantar, pode ser necessário garantir que as seguintes etapas opcionais também sejam concluídas:
Se você pretende implantar locais personalizados no seu cluster habilitado para Arc, você precisa registrar o
Microsoft.ExtendedLocationprovedor de recursos na sua assinatura.Você deve buscar o ID do objeto de localização personalizado e usá-lo para habilitar localizações personalizadas por meio da interface do PowerShell do seu dispositivo.
az login az ad sp show --id bc313c14-387c-4e7d-a58e-70417303ee3b --query id -o tsvAqui está um exemplo de saída usando a CLI do Azure. Você pode executar os mesmos comandos por meio do Cloud Shell no portal do Azure.
PS /home/user> az ad sp show --id bc313c14-388c-4e7d-a58e-70017303ee3b --query id -o tsv 51dfe1e8-70c6-4de5-a08e-e18aff23d815 PS /home/user>Para obter mais informações, veja Criar e gerenciar locais personalizados no Kubernetes habilitado para Arc.
Se estiver implantando cargas de trabalho do Kubernetes ou PMEC:
- Você pode ter selecionado um perfil de carga de trabalho específico usando a interface do usuário local ou o PowerShell. Etapas detalhadas são documentadas para a IU local em Configurar IPS de computação e para o PowerShell em Alterar perfis de carga de trabalho do Kubernetes.
- Você pode precisar de redes virtuais que você adicionou usando as instruções em Criar redes virtuais.
Se você estiver usando VMs HPN como suas VMs de infraestrutura, as vCPUs deverão ser reservadas automaticamente. Execute o seguinte comando para verificar a reserva:
Get-HcsNumaLpMappingEssa configuração é aplicada quando você instala ou atualiza para o Azure Stack Edge 2307. Há dois cenários em que a configuração não será aplicada durante a atualização:
Quando você tem mais vCPUs minroot configuradas do que as quatro vCPUs do Numa0 + Todas as vCPUs do Numa1. Esse cenário se aplica principalmente aos clientes do gateway do Azure Stack Edge que configuram todas as vCPUs para minroot. Para o Azure Stack Edge Pro 2, há apenas um Numa. Para o Azure Stack Edge Pro 2 com 40 núcleos, são mais vCPUs minroot configuradas do que 24 vCPUs, e para o Azure Stack Edge Pro 2 com 48 vCPUs, são mais de 28 vCPUs configuradas.
Quando você tem VMs HPN implantadas e está consumindo mais de 16 vCPUs em uma máquina com 40 núcleos, ou mais de 20 vCPUs em uma máquina com 48 núcleos para VMs HPN.
Aqui está um exemplo de saída para a GPU Azure Stack Edge Pro:
Hardware: { Numa Node #0 : CPUs [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19] } { Numa Node #1 : CPUs [20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39] } HpnCapableLpMapping: { Numa Node #0 : CPUs [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19] } { Numa Node #1 : CPUs [24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39] } 7MT0SZ2: HpnLpMapping: { Numa Node #0 : CPUs [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19] } { Numa Node #1 : CPUs [] } HpnLpAvailable: { Numa Node #0 : CPUs [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19] } { Numa Node #1 : CPUs [] }
Implantar o AKS no Azure Stack Edge
Há várias etapas para implantar o AKS no Azure Stack Edge. Algumas etapas são opcionais, conforme observado abaixo.
Verifique se o AKS está habilitado
Para verificar se o AKS está habilitado, acesse seu recurso do Azure Stack Edge no portal do Azure. No painel Visão geral, selecione o bloco Serviço de Kubernetes do Azure.
Definir locais personalizados (opcional)
Conecte-se à interface do PowerShell do dispositivo.
Execute o seguinte comando como uma opção para definir locais personalizados. Insira o ID do objeto de localização personalizado que você obteve ao concluir seus pré-requisitos.
Set-HcsKubeClusterArcInfo –CustomLocationsObjectId <custom_location_object_id>Aqui está um exemplo de saída usando a CLI do Azure. Você pode executar os mesmos comandos por meio do Cloud Shell no portal do Azure.
[1d9nhq2.microsoftdatabox.com]: PS> Set-HcsKubeClusterArcInfo –CustomLocationsObjectId 51dfe1e8-70c6-4de5-a08e-e18aff23d815 [1d9nhq2.microsoftdatabox.com]: PS>
Especificar pools de IP estáticos (opcional)
Uma etapa opcional onde você pode atribuir pools de IP para a rede virtual usada pelos pods do Kubernetes.
Observação
Os clientes SAP podem pular essa etapa.
Você pode especificar um pool de endereço IP estático para cada rede virtual habilitada para o Kubernetes. A rede virtual habilitada para o Kubernetes gera um NetworkAttachmentDefinition que é criado para o cluster do Kubernetes.
Durante o provisionamento de aplicativos, os pods do Kubernetes podem usar endereço IP estático no pool de IP para interfaces de rede de contêiner, como interfaces de virtualização de E/S de raiz única (SR-IOV) de contêiner. Isso pode ser feito apontando para um NetworkAttachmentDefinition no PodSpec.
Use as etapas a seguir para atribuir pools de IP estáticos na interface do usuário local do seu dispositivo.
Acesse a página Rede avançada no portal do Azure.
Se você não criou redes virtuais anteriormente, selecione Adicionar rede virtual para criar uma rede virtual. Você precisa especificar o switch virtual associado à rede virtual, o ID da VLAN, a máscara de sub-rede e o gateway.
Em um exemplo mostrado aqui, configuramos três redes virtuais. Em cada uma dessas redes virtuais, a VLAN é 0 e a máscara de sub-rede e o gateway correspondem aos valores externos; por exemplo, 255.255.0.0 e 192.168.0.1.
Primeira rede virtual – O nome é N2 e está associado a vswitch-port5.
Segunda rede virtual – O nome é N3 e está associado a vswitch-port5.
Terceira rede virtual – O nome é N6 e está associado a vswitch-port6.
Depois que todas as três redes virtuais estiverem configuradas, elas serão listadas nas redes virtuais, da seguinte forma:
Atribuir pools de endereços IP às redes virtuais:
Na página Kubernetes, selecione uma rede virtual que você criou e habilite-a para o Kubernetes.
Especifique um intervalo contíguo de IPs estáticos para pods do Kubernetes na rede virtual. Nesse exemplo, um intervalo de um endereço IP foi fornecido para cada uma das três redes virtuais que criamos.
Selecione Aplicar para aplicar as alterações para todas as redes virtuais.
Observação
Não é possível modificar as configurações do pool de IP depois que o cluster AKS estiver implantado.
Configurar o comutador virtual de computação
Use essa etapa para configurar o switch virtual para tráfego de computação do Kubernetes.
Na interface local do seu dispositivo, acesse a página Kubernetes.
Selecione Modificar para configurar um switch virtual para tráfego de computação do Kubernetes.
Habilite a computação em uma porta que tenha acesso à Internet. Por exemplo, neste caso, a porta 2 que estava conectada à Internet está habilitada para computação. O acesso à Internet permite que você recupere imagens de contêineres do AKS.
O IP virtual de serviços consistentes do Azure deve ser capaz de alcançar essa rede de comutadores virtuais de computação por meio de roteamento externo ou criando um IP virtual de serviços consistentes do Azure na mesma rede.
Para nós do Kubernetes, especifique um intervalo contíguo de seis IPs estáticos na mesma sub-rede que a rede para essa porta.
Como parte da implantação do AKS, dois clusters são criados, um cluster de gerenciamento e um cluster de destino. Os IPs que você especificou são usados da seguinte forma:
O cluster de gerenciamento precisa de dois IPs = 1 IP para interface de rede do plano de controle de gerenciamento + 1 IP para servidor de API (VIP).
O cluster de destino precisa de (2+n) IPs = 1 IP para interface de rede do plano de controle do cluster de destino + 1 IP para servidor de API (VIP) + número de nós, n.
Um IP extra é usado para atualizações contínuas.
Para um único dispositivo de nó, o acima resulta em seis IPs para implantar um cluster Kubernetes. Para um cluster de dois nós, você precisa de sete IPs.
Para os IPs de serviço externo do Kubernetes, forneça IPs estáticos para serviços expostos fora do cluster do Kubernetes. Cada um desses serviços requer um IP.
Habilitar gerenciamento de nuvem de VM
Essa etapa é necessária para permitir que o portal do Azure Stack Edge implante as VMs de infraestrutura no dispositivo Azure Stack Edge para AKS; por exemplo, para o nó de trabalho do cluster de destino.
No portal do Azure, acesse seu recurso do Azure Stack Edge.
Vá para Visão geral e selecione o bloco Máquinas virtuais.
Na página Visão geral> das máquinas virtuais, selecione Habilitar para Gerenciamento de nuvem de máquinas virtuais.
Configurar o cluster Kubernetes e habilitar o Arc
Use essa etapa para configurar e implantar o cluster Kubernetes e habilitá-lo para gerenciamento via Arc.
Importante
Antes de criar o cluster do Kubernetes, tenha em mente que:
- Não é possível modificar as configurações do pool de IP depois que o cluster AKS for implantado.
- Como parte da habilitação do Arc no cluster de destino do AKS, os locais personalizados serão habilitados se a ID do objeto tiver sido passada usando o comando opcional na seção Definir locais personalizados (opcional) nesse artigo. Se você não habilitou locais personalizados, ainda poderá optar por fazê-lo antes que o cluster do Kubernetes seja criado. Após o início da implantação do cluster, você não poderá definir locais personalizados.
Siga essas etapas para implantar o cluster AKS.
No portal do Azure, acesse seu recurso do Azure Stack Edge.
Selecione o bloco Serviço de Kubernetes do Azure.
Selecione Adicionar para configurar o AKS.
Na caixa de diálogo Criar serviço Kubernetes, selecione o Tamanho do nó do Kubernetes para a VM de infraestrutura. Selecione um tamanho de nó de VM apropriado para o tamanho da carga de trabalho que você está implantando. Neste exemplo, selecionamos o tamanho da VM Standard_F16s_HPN – 16 vCPUs, 32,77 GB de memória.
Para implantações SAP, selecione o tamanho do nó da VM Standard_DS5_v2.
Observação
Se o menu suspenso de tamanho do nó não estiver preenchido, aguarde alguns minutos para que ele seja sincronizado depois que as VMs forem habilitadas na etapa anterior.
Verifique Gerenciar contêiner da nuvem via Kubernetes habilitado para Arc. Essa opção, quando marcada, habilita o Arc quando o cluster do Kubernetes é criado.
Se você selecionar Alterar, precisará fornecer um nome de assinatura, grupo de recursos, nome do cluster e região.
O nome da assinatura deve ser preenchido automaticamente.
Especifique um nome de grupo de recursos exclusivo. Você também pode optar por usar o mesmo grupo de recursos no qual implantou seu recurso do Azure Stack Edge. Você deve ter acesso de nível de proprietário a esse grupo de recursos. Para verificar o nível de acesso do grupo de recursos, acesse Grupo de recursos>Controle de acesso (IAM)>Exibir meu acesso. Em Atribuições de funções, você deve ser listado como Proprietário.
Especifique um nome para seu cluster Kubernetes habilitado para Arc ou aceite o padrão.
Selecione uma região onde o recurso para seu cluster Kubernetes habilitado para Arc será criado. Uma lista filtrada de regiões suportadas é exibida na lista suspensa.
Selecione Configurar. Você também pode redefinir as configurações do Arc selecionando a opção Redefinir para o padrão.
Selecione Criar para criar o serviço Kubernetes.
Você será notificado quando a criação do cluster começar.
Depois que o cluster Kubernetes for criado, você verá que o Serviço de Kubernetes do Azure está Em execução.
O Kubernetes habilitado para Arc também aparecerá como Em execução.
Se você estiver planejando implantar cargas de trabalho do Kubernetes, talvez seja necessário criar volumes persistentes para alocar armazenamento.
Adicionar um volume persistente
PersistentVolume (PV) refere-se a uma parte do armazenamento no cluster do Kubernetes. O armazenamento do Kubernetes pode ser provisionado estaticamente como PersistentVolume. Ele também pode ser provisionado dinamicamente como StorageClass. Para obter mais informações, veja Requisitos de armazenamento para pods do Kubernetes.
Há dois fluxos de trabalho diferentes para criar PVs, dependendo se a computação está habilitada em linha quando o compartilhamento é criado ou não. Cada um desses fluxos de trabalho é discutido nas seções a seguir.
Crie um volume persistente com computação habilitada em linha durante a criação do compartilhamento
No seu dispositivo Azure Stack Edge Pro, os provisionados estaticamente PersistentVolumes são criados usando os recursos de armazenamento do dispositivo. Quando você provisiona um compartilhamento e a opção Usar o compartilhamento com computação Edge está habilitada, essa ação cria automaticamente um recurso PV no cluster do Kubernetes.
Para usar a divisão em camadas da nuvem, você pode criar um compartilhamento de nuvem Edge com a opção Usar o compartilhamento com computação Edge habilitada. Um PV é criado novamente automaticamente para esse compartilhamento. Se você habilitar esta opção, todos os dados do aplicativo que você gravar no compartilhamento Edge serão colocados em camadas na nuvem.
Crie um volume persistente com computação não habilitada em linha durante a criação do compartilhamento
Para os compartilhamentos que foram criados com a opção Usar o compartilhamento com computação Edge desmarcada, você pode adicionar um volume persistente usando as seguintes etapas.
No portal do Azure, vá para o recurso Azure Stack Edge para o dispositivo. Vá para Gateway de armazenamento em nuvem>Compartilhamentos. Você pode ver que o dispositivo atualmente tem compartilhamentos com o status Usado para computação habilitado.
Selecione + Adicionar compartilhamento. Para esse compartilhamento, certifique-se de que a opção Usar o compartilhamento com computação Edge esteja desmarcada.
Você pode ver o compartilhamento recém-criado na lista de compartilhamentos e o status Usado para computação é Desabilitado.
Voltar para o recurso Azure Stack Edge >Visão geral. No painel direito, selecione o bloco Serviço de Kubernetes do Azure.
Na página Visão geral> do Serviço de Kubernetes do Azure, o bloco Volumes persistentes mostra os volumes persistentes existentes. Esses volumes foram criados automaticamente quando os compartilhamentos foram criados com a opção Usar o compartilhamento com computação de borda habilitada. Para criar um novo volume persistente, selecione + Adicionar volume persistente.
Na caixa de diálogo Adicionar volumes persistentes, selecione o compartilhamento para o qual deseja criar o volume persistente.
Você verá uma notificação de que o volume persistente está sendo criado. Essa operação leva alguns minutos para ser concluída.
Após a criação do volume persistente, a página Visão geral será atualizada para incluir o volume persistente recém-adicionado.
Selecione Exibir todos os volumes persistentes para ver o volume persistente recém-criado.
Remover o serviço Azure Kubernetes
Use as etapas a seguir no portal do Azure para remover o AKS.
No seu recurso do Azure Stack Edge, acesse Serviço de Kubernetes do Azure>Overview.
Na barra de comando superior, selecione Remover.
Selecione o complemento configurado que você deseja remover junto com o AKS. O Kubernetes habilitado para Azure Arc é um complemento. Depois de selecionar Remover, todas as configurações do Kubernetes e o complemento selecionado serão removidos. A operação é irreversível e não pode ser desfeita.
Selecione OK para confirmar a operação.
