Solucionar problemas de saturação de memória em clusters do AKS

Este artigo discute métodos para solucionar problemas de saturação de memória. A saturação de memória ocorre se pelo menos um aplicativo ou processo precisar de mais memória do que um host de contêiner pode fornecer ou se o host esgotar sua memória disponível.

Pré-requisitos

• A ferramenta de linha de comando kubernetes kubectl . Para instalar o kubectl usando a CLI do Azure, execute o comando az aks install-cli .

Sintomas

A tabela a seguir descreve os sintomas comuns de saturação de memória.

Sintoma	Descrição
Pods não programados	Pods adicionais não poderão ser agendados se o nó estiver próximo ao limite de memória definido.
Despejo de pod	Se um nó estiver ficando sem memória, o kubelet poderá despejar pods. Embora o plano de controle tente reagendar os pods despejados em outros nós que têm recursos, não há garantia de que outros nós tenham memória suficiente para executar esses pods.
Nó não pronto	A saturação de memória pode causar kubelet e containerd ficar sem resposta, eventualmente causando problemas de preparação do nó.
Morte fora da memória (OOM)	Um problema de OOM ocorre se o despejo do pod não puder evitar um problema de nó.

Lista de verificação de solução de problemas

Para reduzir a saturação de memória, use ferramentas de monitoramento eficazes e aplique práticas recomendadas.

Etapa 1: identificar nós que têm saturação de memória

Use um dos seguintes métodos para identificar nós que têm saturação de memória:

• Em um navegador da Web, use o recurso Container Insights do AKS no portal do Azure.

• Em um console, use a ferramenta de linha de comando kubernetes (kubectl).

Browser

O Container Insights é um recurso dentro do AKS que monitora o desempenho da carga de trabalho do contêiner. Para obter mais informações, consulte Habilitar insights de contêiner para o cluster do AKS (Serviço de Kubernetes do Azure).

1. No portal do Azure, pesquise e selecione Serviços do Kubernetes.

2. Na lista de serviços do Kubernetes, selecione o nome do cluster.

3. No painel de navegação do cluster, localize o título Monitoramento e selecione Insights.

4. Defina o valor de Intervalo de Tempo apropriado.

5. Selecione a guia Nós .

6. Na lista Métrica , selecione Conjunto de trabalho de memória (computado em Alocar).

7. No seletor percentiles, defina o exemplo como Max e selecione o rótulo de coluna Max % duas vezes. Essa ação classifica os nós de tabela pelo percentual máximo de memória usado, do mais alto para o mais baixo.

   

   Há quatro linhas na tabela e elas representam quatro nós em um conjunto de dimensionamento de máquinas virtuais do pool de agentes do AKS. Os status são todos **Ok**, o percentual máximo de memória usada é de 64 a 58%, a memória máxima usada é de 2,6 GB a 2,86 GB, o número de contêineres usados é de 20 a 24 e o tempo de atividade se estende de 6 a 15 dias. Nenhum controlador está listado.

8. Como o primeiro nó tem o maior uso de memória, selecione esse nó para investigar o uso de memória dos pods que estão em execução no nó.

   

   Nove processos são listados no nó. Os status são todos **Ok**, o percentual máximo de memória usado para os processos varia de 16 a 0,3%, a memória máxima usada é de 0,7 mc a 22 mc, o número de contêineres usados é de 1 a 3 e o tempo de atividade é de 3 a 4 dias. Ao contrário do nó, todos os processos têm um controlador correspondente listado. Nesta captura de tela, os nomes do controlador são prefixos dos nomes do processo e estão hiperlinkados.

   Observação

   O percentual de uso de CPU ou memória para pods baseia-se na solicitação de CPU especificada para o contêiner. Ele não representa o percentual da CPU ou do uso de memória para o nó. Portanto, examine a CPU real ou o uso de memória em vez da porcentagem de uso de CPU ou memória para pods.

Linha de comando

Esse procedimento usa os comandos kubectl em um console. Ele exibe apenas o estado atual dos nós.

1. Obtenha o uso de memória dos nós executando o comando do nó superior kubectl :

   kubectl top node
   

   A saída desse comando se assemelha ao seguinte texto:

   NAME                                 CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
   aks-agentpool-30486455-vmss000003    239m         12%    3148Mi          69%
   aks-agentpool-30486455-vmss000005    326m         17%    2143Mi          46%
   aks-testmemory-30616462-vmss000000   66m          3%     1532Mi          28%
   aks-testmemory-30616462-vmss000001   90m          4%     1689Mi          31%
   aks-testmemory-30616462-vmss000002   74m          3%     1715Mi          31%
   

2. Obtenha a lista de pods que estão em execução no nó e seu uso de memória executando os comandos kubectl get pods e kubectl top pods :

   kubectl get pods --all-namespaces --output wide \
       | grep <node-name> \
       | awk '{print $1" "$2}' \
       | xargs -n2 kubectl top pods --namespace \
       | awk 'NR==1 || NR%2==0' \
       | sort -k3n \
       | column -t
   

   Observação

   Neste snippet de código, substitua <o nome> do nó pelo nome do nó real.

   A saída do snippet de código se assemelha ao seguinte texto:

   NAME                                 CPU(cores)   MEMORY(bytes)
   coredns-autoscaler-5655d66f64-9fp2k  1m           7Mi
   shippingservice-7946db7679-qzplg     6m           15Mi
   azure-ip-masq-agent-tb8xv            1m           16Mi
   cloud-node-manager-wggqd             1m           16Mi
   kube-proxy-c244z                     1m           22Mi
   coredns-59b6bf8b4f-5zg5s             3m           24Mi
   coredns-59b6bf8b4f-5x62d             3m           25Mi
   currencyservice-7977f668dc-rvbwm     12m          32Mi
   csi-azurefile-node-9fcx8             2m           38Mi
   metrics-server-5f8d84558d-frsq4      4m           42Mi
   metrics-server-5f8d84558d-rc5nj      4m           43Mi
   csi-azuredisk-node-9fh7h             2m           46Mi
   adservice-795589cf6f-xs66r           4m           87Mi
   ama-metrics-node-54sfj               16m          249Mi
   ama-logs-rs-6db98d6dff-vj4xw         13m          259Mi
   ama-logs-w5bmd                       12m          403Mi
   

3. Examine as solicitações e os limites de cada pod no nó executando o comando de nó de descrever kubectl :

   kubectl describe node <node-name>
   

   A saída desse comando se assemelha ao seguinte texto:

     Namespace    Name                                 CPU Requests  CPU Limits  Memory Requests  Memory Limits  Age
     ---------    ----                                 ------------  ----------  ---------------  -------------  ---
     default      adservice-795589cf6f-dgrx7           200m (10%)    300m (15%)  180Mi (3%)       300Mi (6%)     49m
     default      cartservice-6d994d9676-tcr6m         200m (10%)    300m (15%)  64Mi (1%)        128Mi (2%)     49m
     default      frontend-848d9f9dc9-x712b            100m (5%)     200m (10%)  64Mi (1%)        128Mi (2%)     49m
     default      loadgenerator-5c9656f8d6-7vmjr       300m (15%)    500m (26%)  256Mi (5%)       512Mi (11%)    38m
     default      redis-cart-799c85c644-vzpjl          70m (3%)      125m (6%)   200Mi (4%)       256Mi (5%)     49m
     kube-system  ama-logs-zs4qf                       150m (7%)     1 (52%)     550Mi (12%)      1774Mi (38%)   16h
     kube-system  azure-ip-masq-agent-rqqpn            100m (5%)     500m (26%)  50Mi (1%)        250Mi (5%)     16h
     kube-system  cloud-node-manager-nbnrq             50m (2%)      0 (0%)      50Mi (1%)        512Mi (11%)    16h
     kube-system  coredns-59b6bf8b4f-m2prf             100m (5%)     3 (157%)    70Mi (1%)        500Mi (10%)    16h
     kube-system  csi-azuredisk-node-h445m             30m (1%)      0 (0%)      60Mi (1%)        400Mi (8%)     16h
     kube-system  csi-azurefile-node-489cp             30m (1%)      0 (0%)      60Mi (1%)        600Mi (13%)    16h
     kube-system  konnectivity-agent-665c7dfdb8-25p2f  20m (1%)      1 (52%)     20Mi (1%)        1Gi (22%)      15h
     kube-system  kube-proxy-v9gp4                     100m (5%)     0 (0%)      0 (0%)           0 (0%)         16h
   Allocated resources:
     ...
   

   Observação

   O percentual de uso de CPU ou memória para o nó baseia-se nos recursos alocados no nó, em vez da capacidade real do nó.

Agora que você identificou os pods que estão usando memória alta, você pode identificar os aplicativos que estão em execução no pod.

Etapa 2: examinar as práticas recomendadas para evitar a saturação de memória

Examine a tabela a seguir para saber como implementar práticas recomendadas para evitar a saturação de memória.

Prática recomendada	Descrição
Usar solicitações e limites de memória	O Kubernetes fornece opções para especificar o tamanho mínimo da memória (solicitação) e o tamanho máximo da memória (limite) para um contêiner. Ao configurar limites em pods, você pode evitar a pressão de memória no nó. Verifique se os limites de agregação para todos os pods que estão em execução não excedem a memória disponível do nó. Essa situação é chamada de excesso de compromisso. O agendador do Kubernetes aloca recursos com base em solicitações e limites definidos por meio do QoS ( Qualidade do Serviço ). Sem limites apropriados, o agendador pode agendar muitos pods em um único nó. Isso pode eventualmente derrubar o nó. Além disso, enquanto o kubelet está despejando pods, ele prioriza pods nos quais o uso de memória excede suas solicitações definidas. Recomendamos que você defina a solicitação de memória próxima ao uso real.
Habilitar o dimensionador automático do pod horizontal	Ao escalar o cluster, você pode equilibrar as solicitações em muitos pods para evitar a saturação de memória. Essa técnica pode reduzir a pegada de memória no nó específico.
Usar marcas anti-afinidade	Para cenários em que a memória é desvinculada pelo design, você pode usar seletores de nó e marcas de afinidade ou anti-afinidade, que podem isolar a carga de trabalho em nós específicos. Usando marcas anti-afinidade, você pode impedir que outras cargas de trabalho agendem pods nesses nós. Isso reduz o problema de saturação de memória.
Escolher VMs SKU mais altas	Máquinas virtuais (VMs) que têm mais memória de acesso aleatório (RAM) são mais adequadas para lidar com o alto uso de memória. Para usar essa opção, você deve criar um pool de nós, isolar os nós (torná-los não programados) e drenar o pool de nós existente.
Isolar cargas de trabalho do sistema e do usuário	Recomendamos que você execute seus aplicativos em um pool de nós de usuário. Essa configuração garante que você possa isolar os pods específicos do Kubernetes no pool de nós do sistema e manter o desempenho do cluster.

Mais informações

• Saiba mais sobre as práticas recomendadas do AKS (Serviço de Kubernetes do Azure)

• Monitorar o desempenho do cluster do Kubernetes com insights de contêiner

Aviso de isenção de responsabilidade para informações de terceiros

Os produtos de terceiros mencionados neste artigo são produzidos por empresas independentes da Microsoft. A Microsoft não oferece nenhuma garantia, implícita ou não, do desempenho ou da confiabilidade desses produtos.

Aviso de isenção de responsabilidade para contatos de terceiros

A Microsoft fornece informações de contato de terceiros para ajudá-lo a encontrar informações adicionais sobre esse tópico. Essas informações de contato podem ser alteradas sem aviso prévio. A Microsoft não garante a precisão das informações de contato de terceiros.

Entre em contato conosco para obter ajuda

Se você tiver dúvidas ou precisar de ajuda, crie uma solicitação de suporte ou peça ajuda à comunidade de suporte do Azure. Você também pode enviar comentários sobre o produto para a comunidade de comentários do Azure.