Solución de problemas de saturación de memoria en clústeres de AKS

En este artículo se describen los métodos para solucionar problemas de saturación de memoria. La saturación de memoria se produce si al menos una aplicación o proceso necesita más memoria de la que puede proporcionar un host de contenedor, o si el host agota su memoria disponible.

Requisitos previos

• Herramienta de línea de comandos kubectl de Kubernetes. Para instalar kubectl mediante la CLI de Azure, ejecute el comando az aks install-cli .

Síntomas

En la tabla siguiente se describen los síntomas comunes de saturación de memoria.

Síntoma	Descripción
Pods noschedulables	No se pueden programar pods adicionales si el nodo está cerca de su límite de memoria establecido.
Expulsión de pods	Si un nodo se está quedando sin memoria, kubelet puede expulsar pods. Aunque el plano de control intenta reprogramar los pods desalojados en otros nodos que tienen recursos, no hay ninguna garantía de que otros nodos tengan suficiente memoria para ejecutar estos pods.
Nodo no listo	La saturación de memoria puede provocar kubelet y containerd dejar de responder, lo que puede provocar problemas de preparación del nodo.
Eliminación de memoria insuficiente (OOM)	Se produce un problema de OOM si la expulsión del pod no puede evitar un problema de nodo.

Lista de comprobación para la solución de problemas

Para reducir la saturación de memoria, use herramientas de supervisión eficaces y aplique los procedimientos recomendados.

Paso 1: Identificar los nodos que tienen saturación de memoria

Use cualquiera de los métodos siguientes para identificar los nodos que tienen saturación de memoria:

• En un explorador web, use la característica Container Insights de AKS en el Azure Portal.

• En una consola, use la herramienta de línea de comandos de Kubernetes (kubectl).

Explorador

Container Insights es una característica de AKS que supervisa el rendimiento de la carga de trabajo de contenedor. Para obtener más información, consulte Habilitar Container Insights para Azure Kubernetes Service clúster (AKS).

1. En el Azure Portal, busque y seleccione Servicios de Kubernetes.

2. En la lista de servicios de Kubernetes, seleccione el nombre del clúster.

3. En el panel de navegación del clúster, busque el encabezado Supervisión y, a continuación, seleccione Conclusiones.

4. Establezca el valor de Intervalo de tiempo adecuado.

5. Seleccione la pestaña Nodos .

6. En la lista Métrica, seleccione Conjunto de trabajo de memoria (calculado a partir de Asignable).

7. En el selector percentiles, establezca el ejemplo en Max y, a continuación, seleccione la etiqueta de columna % máximo dos veces. Esta acción ordena los nodos de tabla según el porcentaje máximo de memoria utilizada, de mayor a menor.

   

   Hay cuatro filas en la tabla y representan cuatro nodos en un conjunto de escalado de máquinas virtuales del grupo de agentes de AKS. Los estados son todos **Ok**, el porcentaje máximo de memoria usada es del 64 al 58 por ciento, la memoria máxima usada es de 2,6 GB a 2,86 GB, el número de contenedores utilizados es de 20 a 24 y el tiempo de actividad abarca de 6 a 15 días. No se muestra ningún controlador.

8. Dado que el primer nodo tiene el uso de memoria más alto, seleccione ese nodo para investigar el uso de memoria de los pods que se ejecutan en el nodo.

   

   En el nodo se enumeran nueve procesos. Los estados son todos **Ok**, el porcentaje máximo de memoria usada para los procesos oscila entre el 16 y el 0,3 por ciento, la memoria máxima usada es de 0,7 mc a 22 mc, el número de contenedores utilizados es de 1 a 3 y el tiempo de actividad es de 3 a 4 días. A diferencia del nodo, todos los procesos tienen un controlador correspondiente enumerado. En esta captura de pantalla, los nombres del controlador son prefijos de los nombres de proceso y están hipervínculos.

   Nota:

   El porcentaje de uso de CPU o memoria para pods se basa en la solicitud de CPU especificada para el contenedor. No representa el porcentaje del uso de CPU o memoria para el nodo. Por lo tanto, examine el uso real de CPU o memoria en lugar del porcentaje de uso de CPU o memoria para pods.

Línea de comandos

Este procedimiento usa los comandos kubectl en una consola. Muestra solo el estado actual de los nodos.

1. Para obtener el uso de memoria de los nodos, ejecute el comando kubectl top node :

   kubectl top node
   

   La salida de este comando es similar al texto siguiente:

   NAME                                 CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
   aks-agentpool-30486455-vmss000003    239m         12%    3148Mi          69%
   aks-agentpool-30486455-vmss000005    326m         17%    2143Mi          46%
   aks-testmemory-30616462-vmss000000   66m          3%     1532Mi          28%
   aks-testmemory-30616462-vmss000001   90m          4%     1689Mi          31%
   aks-testmemory-30616462-vmss000002   74m          3%     1715Mi          31%
   

2. Obtenga la lista de pods que se ejecutan en el nodo y su uso de memoria mediante la ejecución de los comandos kubectl get pods y kubectl top pods :

   kubectl get pods --all-namespaces --output wide \
       | grep <node-name> \
       | awk '{print $1" "$2}' \
       | xargs -n2 kubectl top pods --namespace \
       | awk 'NR==1 || NR%2==0' \
       | sort -k3n \
       | column -t
   

   Nota:

   En este fragmento de código, reemplace <node-name> por el nombre real del nodo.

   La salida del fragmento de código es similar al texto siguiente:

   NAME                                 CPU(cores)   MEMORY(bytes)
   coredns-autoscaler-5655d66f64-9fp2k  1m           7Mi
   shippingservice-7946db7679-qzplg     6m           15Mi
   azure-ip-masq-agent-tb8xv            1m           16Mi
   cloud-node-manager-wggqd             1m           16Mi
   kube-proxy-c244z                     1m           22Mi
   coredns-59b6bf8b4f-5zg5s             3m           24Mi
   coredns-59b6bf8b4f-5x62d             3m           25Mi
   currencyservice-7977f668dc-rvbwm     12m          32Mi
   csi-azurefile-node-9fcx8             2m           38Mi
   metrics-server-5f8d84558d-frsq4      4m           42Mi
   metrics-server-5f8d84558d-rc5nj      4m           43Mi
   csi-azuredisk-node-9fh7h             2m           46Mi
   adservice-795589cf6f-xs66r           4m           87Mi
   ama-metrics-node-54sfj               16m          249Mi
   ama-logs-rs-6db98d6dff-vj4xw         13m          259Mi
   ama-logs-w5bmd                       12m          403Mi
   

3. Revise las solicitudes y los límites de cada pod del nodo ejecutando el comando kubectl describe node :

   kubectl describe node <node-name>
   

   La salida de este comando es similar al texto siguiente:

     Namespace    Name                                 CPU Requests  CPU Limits  Memory Requests  Memory Limits  Age
     ---------    ----                                 ------------  ----------  ---------------  -------------  ---
     default      adservice-795589cf6f-dgrx7           200m (10%)    300m (15%)  180Mi (3%)       300Mi (6%)     49m
     default      cartservice-6d994d9676-tcr6m         200m (10%)    300m (15%)  64Mi (1%)        128Mi (2%)     49m
     default      frontend-848d9f9dc9-x712b            100m (5%)     200m (10%)  64Mi (1%)        128Mi (2%)     49m
     default      loadgenerator-5c9656f8d6-7vmjr       300m (15%)    500m (26%)  256Mi (5%)       512Mi (11%)    38m
     default      redis-cart-799c85c644-vzpjl          70m (3%)      125m (6%)   200Mi (4%)       256Mi (5%)     49m
     kube-system  ama-logs-zs4qf                       150m (7%)     1 (52%)     550Mi (12%)      1774Mi (38%)   16h
     kube-system  azure-ip-masq-agent-rqqpn            100m (5%)     500m (26%)  50Mi (1%)        250Mi (5%)     16h
     kube-system  cloud-node-manager-nbnrq             50m (2%)      0 (0%)      50Mi (1%)        512Mi (11%)    16h
     kube-system  coredns-59b6bf8b4f-m2prf             100m (5%)     3 (157%)    70Mi (1%)        500Mi (10%)    16h
     kube-system  csi-azuredisk-node-h445m             30m (1%)      0 (0%)      60Mi (1%)        400Mi (8%)     16h
     kube-system  csi-azurefile-node-489cp             30m (1%)      0 (0%)      60Mi (1%)        600Mi (13%)    16h
     kube-system  konnectivity-agent-665c7dfdb8-25p2f  20m (1%)      1 (52%)     20Mi (1%)        1Gi (22%)      15h
     kube-system  kube-proxy-v9gp4                     100m (5%)     0 (0%)      0 (0%)           0 (0%)         16h
   Allocated resources:
     ...
   

   Nota:

   El porcentaje de uso de CPU o memoria para el nodo se basa en los recursos asignables en el nodo en lugar de en la capacidad real del nodo.

Ahora que ha identificado los pods que usan memoria alta, puede identificar las aplicaciones que se ejecutan en el pod.

Paso 2: Revisar los procedimientos recomendados para evitar la saturación de memoria

Revise la tabla siguiente para obtener información sobre cómo implementar los procedimientos recomendados para evitar la saturación de memoria.

Procedimiento recomendado	Descripción
Uso de solicitudes y límites de memoria	Kubernetes proporciona opciones para especificar el tamaño mínimo de memoria (solicitud) y el tamaño máximo de memoria (límite) de un contenedor. Al configurar límites en pods, puede evitar la presión de memoria en el nodo. Asegúrese de que los límites agregados de todos los pods que se ejecutan no superen la memoria disponible del nodo. Esta situación se denomina sobreasignación. El programador de Kubernetes asigna recursos en función de las solicitudes y límites establecidos a través de calidad de servicio (QoS). Sin los límites adecuados, el programador podría programar demasiados pods en un solo nodo. Esto podría acabar por reducir el nodo. Además, aunque kubelet expulsa pods, prioriza los pods en los que el uso de memoria supera sus solicitudes definidas. Se recomienda establecer la solicitud de memoria cerca del uso real.
Habilitación del escalador automático de pod horizontal	Al escalar el clúster, puede equilibrar las solicitudes en muchos pods para evitar la saturación de memoria. Esta técnica puede reducir la superficie de memoria en el nodo específico.
Uso de etiquetas de antiafinidad	En escenarios en los que la memoria no está enlazada por diseño, puede usar selectores de nodos y etiquetas de afinidad o antiafinidad, que pueden aislar la carga de trabajo en nodos específicos. Mediante el uso de etiquetas de antiafinidad, puede evitar que otras cargas de trabajo programe pods en estos nodos. Esto reduce el problema de saturación de memoria.
Elección de máquinas virtuales de SKU más altas	Las máquinas virtuales (VM) que tienen más memoria de acceso aleatorio (RAM) son más adecuadas para controlar el uso elevado de memoria. Para usar esta opción, debe crear un nuevo grupo de nodos, acordonar los nodos (que no se puedan especificar) y purgar el grupo de nodos existente.
Aislar cargas de trabajo del sistema y del usuario	Se recomienda ejecutar las aplicaciones en un grupo de nodos de usuario. Esta configuración garantiza que puede aislar los pods específicos de Kubernetes en el grupo de nodos del sistema y mantener el rendimiento del clúster.

Más información

• Más información sobre los procedimientos recomendados de Azure Kubernetes Service (AKS)

• Supervisión del rendimiento del clúster de Kubernetes con Container Insights

Aviso de declinación de responsabilidades sobre la información de terceros

Los productos de otros fabricantes que se mencionan en este artículo han sido creados por compañías independientes de Microsoft. Microsoft no ofrece ninguna garantía, ya sea implícita o de otro tipo, sobre la confiabilidad o el rendimiento de dichos productos.

Aviso de declinación de responsabilidades sobre la información de contacto de terceros

Microsoft proporciona información de contacto de otros proveedores para ayudarle a encontrar información adicional sobre este tema. Dicha información de contacto puede cambiar sin notificación previa. Microsoft no garantiza la precisión de esta información de contacto de terceros.

Ponte en contacto con nosotros para obtener ayuda

Si tiene preguntas o necesita ayuda, cree una solicitud de soporte o busque consejo en la comunidad de Azure. También puede enviar comentarios sobre el producto con los comentarios de la comunidad de Azure.