Problemen met geheugenverzadiging in AKS-clusters oplossen

In dit artikel worden methoden besproken voor het oplossen van problemen met geheugenverzadiging. Geheugenverzadiging treedt op als ten minste één toepassing of proces meer geheugen nodig heeft dan een containerhost kan bieden, of als de host het beschikbare geheugen uitput.

Vereisten

• Het kubectl-opdrachtregelprogramma kubernetes . Als u kubectl wilt installeren met behulp van Azure CLI, voert u de opdracht az aks install-cli uit.

Symptomen

In de volgende tabel worden de veelvoorkomende symptomen van geheugenverzadiging beschreven.

Symptoom	Beschrijving
Niet-geplande pods	Extra pods kunnen niet worden gepland als het knooppunt zich dicht bij de ingestelde geheugenlimiet bevindt.
Pod-verwijdering	Als een knooppunt onvoldoende geheugen heeft, kan de kubelet pods verwijderen. Hoewel het besturingsvlak probeert de verwijderde pods opnieuw te plannen op andere knooppunten met resources, is er geen garantie dat andere knooppunten voldoende geheugen hebben om deze pods uit te voeren.
Knooppunt niet gereed	Geheugenverzadiging kan ertoe leiden dat kubelet en containerd niet meer reageert, wat uiteindelijk problemen met de gereedheid van knooppunten veroorzaakt.
Onvoldoende geheugen (OOM) doden	Er treedt een OOM-probleem op als de pod-verwijdering een probleem met het knooppunt niet kan voorkomen.

Controlelijst voor probleemoplossing

Als u geheugenverzadiging wilt verminderen, gebruikt u effectieve bewakingshulpprogramma's en past u best practices toe.

Stap 1: knooppunten met geheugenverzadiging identificeren

Gebruik een van de volgende methoden om knooppunten met geheugenverzadiging te identificeren:

• Gebruik in een webbrowser de functie Container Insights van AKS in de Azure Portal.

• Gebruik in een console het kubernetes-opdrachtregelprogramma (kubectl).

Browser

Container Insights is een functie binnen AKS waarmee de prestaties van de containerworkload worden bewaakt. Zie Container insights inschakelen voor Azure Kubernetes Service (AKS)-cluster voor meer informatie.

1. Zoek en selecteer Kubernetes-servicesop de Azure Portal.

2. Selecteer in de lijst met Kubernetes-services de naam van uw cluster.

3. Zoek in het navigatiedeelvenster van uw cluster de kop Bewaking en selecteer vervolgens Inzichten.

4. Stel de juiste tijdsbereikwaarde in .

5. Selecteer het tabblad Knooppunten .

6. Selecteer in de lijst Metrische gegevensde optie Werkset geheugen (berekend vanuit Allocatable).

7. Stel in de percentielkiezer het voorbeeld in op Max en selecteer vervolgens het kolomlabel Max % twee keer. Met deze actie worden de tabelknooppunten gesorteerd op het maximumpercentage geheugen dat wordt gebruikt, van hoog naar laag.

   

   De tabel bevat vier rijen en vertegenwoordigt vier knooppunten in een virtuele-machineschaalset van een AKS-agentpool. De statussen zijn allemaal **Ok**, het maximumpercentage van het gebruikte geheugen ligt tussen 64 en 58 procent, het maximum aantal gebruikte geheugen ligt tussen 2,6 GB en 2,86 GB, het aantal gebruikte containers is 20 tot 24 en de uptime duurt 6 tot 15 dagen. Er worden geen controllers weergegeven.

8. Omdat het eerste knooppunt het hoogste geheugengebruik heeft, selecteert u dat knooppunt om het geheugengebruik te onderzoeken van de pods die op het knooppunt worden uitgevoerd.

   

   Negen processen worden vermeld onder het knooppunt. De statussen zijn allemaal **Ok**, het maximale percentage geheugen dat voor de processen wordt gebruikt varieert van 16 tot 0,3 procent, het maximale geheugen dat wordt gebruikt is van 0,7 tot 22 mc, het aantal gebruikte containers is 1 tot 3 en de uptime is 3 tot 4 dagen. In tegenstelling tot het knooppunt hebben de processen allemaal een bijbehorende controller. In deze schermopname zijn de controllernamen voorvoegsels van de procesnamen en worden ze gekoppeld aan een hyperlink.

   Opmerking

   Het cpu- of geheugengebruikspercentage voor pods is gebaseerd op de CPU-aanvraag die is opgegeven voor de container. Het geeft niet het percentage van het CPU- of geheugengebruik voor het knooppunt aan. Kijk dus naar het werkelijke CPU- of geheugengebruik in plaats van het percentage cpu- of geheugengebruik voor pods.

Opdrachtregel

In deze procedure worden de kubectl-opdrachten in een console gebruikt. Alleen de huidige status van de knooppunten wordt weergegeven.

1. Haal het geheugengebruik van de knooppunten op door de opdracht kubectl top node uit te voeren:

   kubectl top node
   

   De uitvoer van deze opdracht lijkt op de volgende tekst:

   NAME                                 CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
   aks-agentpool-30486455-vmss000003    239m         12%    3148Mi          69%
   aks-agentpool-30486455-vmss000005    326m         17%    2143Mi          46%
   aks-testmemory-30616462-vmss000000   66m          3%     1532Mi          28%
   aks-testmemory-30616462-vmss000001   90m          4%     1689Mi          31%
   aks-testmemory-30616462-vmss000002   74m          3%     1715Mi          31%
   

2. Haal de lijst met pods op die worden uitgevoerd op het knooppunt en hun geheugengebruik op door de opdrachten kubectl get pods en kubectl top pods uit te voeren:

   kubectl get pods --all-namespaces --output wide \
       | grep <node-name> \
       | awk '{print $1" "$2}' \
       | xargs -n2 kubectl top pods --namespace \
       | awk 'NR==1 || NR%2==0' \
       | sort -k3n \
       | column -t
   

   Opmerking

   Vervang in dit codefragment knooppuntnaam> door < de werkelijke knooppuntnaam.

   De uitvoer van het codefragment lijkt op de volgende tekst:

   NAME                                 CPU(cores)   MEMORY(bytes)
   coredns-autoscaler-5655d66f64-9fp2k  1m           7Mi
   shippingservice-7946db7679-qzplg     6m           15Mi
   azure-ip-masq-agent-tb8xv            1m           16Mi
   cloud-node-manager-wggqd             1m           16Mi
   kube-proxy-c244z                     1m           22Mi
   coredns-59b6bf8b4f-5zg5s             3m           24Mi
   coredns-59b6bf8b4f-5x62d             3m           25Mi
   currencyservice-7977f668dc-rvbwm     12m          32Mi
   csi-azurefile-node-9fcx8             2m           38Mi
   metrics-server-5f8d84558d-frsq4      4m           42Mi
   metrics-server-5f8d84558d-rc5nj      4m           43Mi
   csi-azuredisk-node-9fh7h             2m           46Mi
   adservice-795589cf6f-xs66r           4m           87Mi
   ama-metrics-node-54sfj               16m          249Mi
   ama-logs-rs-6db98d6dff-vj4xw         13m          259Mi
   ama-logs-w5bmd                       12m          403Mi
   

3. Controleer de aanvragen en limieten voor elke pod op het knooppunt door de opdracht kubectl-beschrijfknooppunt uit te voeren:

   kubectl describe node <node-name>
   

   De uitvoer van deze opdracht lijkt op de volgende tekst:

     Namespace    Name                                 CPU Requests  CPU Limits  Memory Requests  Memory Limits  Age
     ---------    ----                                 ------------  ----------  ---------------  -------------  ---
     default      adservice-795589cf6f-dgrx7           200m (10%)    300m (15%)  180Mi (3%)       300Mi (6%)     49m
     default      cartservice-6d994d9676-tcr6m         200m (10%)    300m (15%)  64Mi (1%)        128Mi (2%)     49m
     default      frontend-848d9f9dc9-x712b            100m (5%)     200m (10%)  64Mi (1%)        128Mi (2%)     49m
     default      loadgenerator-5c9656f8d6-7vmjr       300m (15%)    500m (26%)  256Mi (5%)       512Mi (11%)    38m
     default      redis-cart-799c85c644-vzpjl          70m (3%)      125m (6%)   200Mi (4%)       256Mi (5%)     49m
     kube-system  ama-logs-zs4qf                       150m (7%)     1 (52%)     550Mi (12%)      1774Mi (38%)   16h
     kube-system  azure-ip-masq-agent-rqqpn            100m (5%)     500m (26%)  50Mi (1%)        250Mi (5%)     16h
     kube-system  cloud-node-manager-nbnrq             50m (2%)      0 (0%)      50Mi (1%)        512Mi (11%)    16h
     kube-system  coredns-59b6bf8b4f-m2prf             100m (5%)     3 (157%)    70Mi (1%)        500Mi (10%)    16h
     kube-system  csi-azuredisk-node-h445m             30m (1%)      0 (0%)      60Mi (1%)        400Mi (8%)     16h
     kube-system  csi-azurefile-node-489cp             30m (1%)      0 (0%)      60Mi (1%)        600Mi (13%)    16h
     kube-system  konnectivity-agent-665c7dfdb8-25p2f  20m (1%)      1 (52%)     20Mi (1%)        1Gi (22%)      15h
     kube-system  kube-proxy-v9gp4                     100m (5%)     0 (0%)      0 (0%)           0 (0%)         16h
   Allocated resources:
     ...
   

   Opmerking

   Het percentage cpu- of geheugengebruik voor het knooppunt is gebaseerd op de toegewezen resources op het knooppunt in plaats van de werkelijke capaciteit van het knooppunt.

Nu u de pods hebt geïdentificeerd die veel geheugen gebruiken, kunt u de toepassingen identificeren die op de pod worden uitgevoerd.

Stap 2: Best practices bekijken om geheugenverzadiging te voorkomen

Raadpleeg de volgende tabel voor meer informatie over het implementeren van best practices voor het voorkomen van geheugenverzadiging.

Aanbevolen procedures	Beschrijving
Geheugenaanvragen en -limieten gebruiken	Kubernetes biedt opties om de minimale geheugengrootte (aanvraag) en de maximale geheugengrootte (limiet) voor een container op te geven. Door limieten voor pods te configureren, kunt u geheugenbelasting op het knooppunt voorkomen. Zorg ervoor dat de geaggregeerde limieten voor alle pods die worden uitgevoerd, het beschikbare geheugen van het knooppunt niet overschrijden. Deze situatie wordt overcommitting genoemd. De Kubernetes-planner wijst resources toe op basis van ingestelde aanvragen en limieten via QoS (Quality of Service ). Zonder de juiste limieten kan de scheduler te veel pods op één knooppunt plannen. Hierdoor kan het knooppunt uiteindelijk worden uitgeschakeld. Bovendien, terwijl de kubelet pods verwijdert, geeft het prioriteit aan pods waarin het geheugengebruik de gedefinieerde aanvragen overschrijdt. U wordt aangeraden de geheugenaanvraag dicht bij het werkelijke gebruik in te stellen.
Automatische schaalaanpassing van horizontale pods inschakelen	Door het cluster te schalen, kunt u de aanvragen verdelen over veel pods om geheugenverzadiging te voorkomen. Deze techniek kan de geheugenvoetafdruk op het specifieke knooppunt verminderen.
Antiaffiniteitstags gebruiken	Voor scenario's waarin geheugen per ontwerp niet-afhankelijk is, kunt u knooppuntkiezers en affiniteits- of antiaffiniteitstags gebruiken, waarmee de workload kan worden geïsoleerd naar specifieke knooppunten. Door antiaffiniteitstags te gebruiken, kunt u voorkomen dat andere workloads pods op deze knooppunten plannen. Dit vermindert het probleem met geheugenverzadiging.
Hogere SKU-VM's kiezen	Virtuele machines (VM's) met meer RAM-geheugen (Random Access Memory) zijn beter geschikt voor het verwerken van hoog geheugengebruik. Als u deze optie wilt gebruiken, moet u een nieuwe knooppuntgroep maken, de knooppunten cordonen (ze niet-gepland maken) en de bestaande knooppuntgroep leegmaken.
Systeem - en gebruikersworkloads isoleren	U wordt aangeraden uw toepassingen uit te voeren op een gebruikersknooppuntgroep. Deze configuratie zorgt ervoor dat u de Kubernetes-specifieke pods kunt isoleren in de systeemknooppuntgroep en de clusterprestaties kunt behouden.

Meer informatie

• Meer informatie over best practices voor Azure Kubernetes Service (AKS)

• De prestaties van uw Kubernetes-cluster bewaken met Container Insights

Disclaimerinformatie van derden

De producten van derden die in dit artikel worden vermeld, worden vervaardigd door bedrijven die onafhankelijk zijn van Microsoft. Microsoft verleent dan ook geen enkele garantie, impliciet noch anderszins, omtrent de prestaties of de betrouwbaarheid van deze producten.

Disclaimerinformatie van derden

Microsoft verstrekt contactgegevens van derden om u te helpen aanvullende informatie over dit onderwerp te vinden. Deze contactinformatie kan zonder voorafgaande kennisgeving worden gewijzigd. Microsoft garandeert de juistheid van contactgegevens van derden niet.

Contacteer ons voor hulp

Als u vragen hebt of hulp nodig hebt, maak een ondersteuningsaanvraag of vraag de Azure-communityondersteuning. U kunt ook productfeedback verzenden naar de Feedback-community van Azure.