Hardening dei nodi (anteprima) in Servizio Azure Kubernetes (AKS)

Node Hardening è una funzionalità facoltativa per i pool di nodi Linux che protegge la stabilità dei nodi quando i carichi di lavoro mettono i nodi sotto pressione di CPU, memoria o disco. Quando si abilita la protezione avanzata dei nodi in un cluster, AKS modifica il modo in cui ogni nodo gestisce la riserva e l'applicazione delle risorse per i componenti Kubernetes e i servizi host, nonché il modo in cui kubelet rimuove i pod quando le risorse scarseggiano.

Questo articolo illustra le modifiche apportate da Node Hardening, confronta le impostazioni predefinite con le impostazioni predefinite standard di AKS e illustra come abilitare, verificare, personalizzare e disabilitare la funzionalità.

Importante

Le funzionalità in anteprima di AKS sono disponibili in modalità self-service, su base volontaria. Le anteprime vengono fornite "così come sono" e "come disponibili" e sono escluse dai contratti di servizio e dalla garanzia limitata. Le anteprime di AKS sono coperte solo parzialmente dall'assistenza clienti nei limiti del possibile. Di conseguenza, queste funzionalità non sono destinate all'uso in produzione. Per altre informazioni, vedere gli articoli di supporto seguenti:

Vantaggi dell'hardening dei nodi

Nei nodi occupati o con picchi, i carichi di lavoro possono usare risorse necessarie per kubelet, il runtime del contenitore e i servizi host. In questo caso, i nodi possono non rispondere, segnalare uno stato NotReady o terminare improvvisamente i pod. La protezione avanzata dei nodi riduce questi rischi nei modi seguenti:

  • Riserve applicate: Per impostazione predefinita, AKS usa i valori kube-reserved solo per calcolare la quantità di capacità che l'Unità di pianificazione può allocare ai pod. Utilizzando Node Hardening, kubelet fa rispettare anche le risorse riservate kube-reserved e system-reserved tramite i gruppi di controllo Linux (cgroups). Il kubelet e containerd vengono eseguiti in un cgroup dedicato kubereserved.slice, in modo che mantengano la quota di CPU riservata e la memoria riservata anche quando i pod saturano il nodo.
  • Capacità dedicata per i servizi host: La protezione avanzata dei nodi aggiunge un'allocazione system-reserved per i servizi del sistema operativo host, eseguiti in system.slice.
  • Più margine di memoria: La soglia hard di eviction per la memoria disponibile si adatta alla memoria del nodo, quindi kubelet rimuove i pod prima che il nodo raggiunga un livello di memoria criticamente basso.
  • Rimozione graduale: Le soglie di rimozione soft consentono a kubelet di rimuovere gradualmente i pod, con un periodo di tolleranza per la terminazione, quando la memoria o lo spazio su disco scarseggiano. La rimozione hard, che termina immediatamente i pod, interviene quindi come ultima risorsa.
  • Riserve che si adattano alla densità dei pod: Il calcolo della memoria kube-reserved aumenta con il numero massimo di pod per nodo, tenendo conto dell'overhead di kubelet e containerd dovuto all'esecuzione di più pod.

Cosa cambia quando si abilita Node Hardening

Le tabelle seguenti confrontano le impostazioni predefinite standard per i nodi Linux che eseguono Kubernetes 1.29 o versione successiva con le impostazioni predefinite applicate da AKS quando Node Hardening è abilitato.

Prenotazioni di risorse

Impostazione Senza hardening dei nodi Con la protezione avanzata dei nodi
CPU kube-reserved In base al numero di core CPU. Per altre informazioni, vedere Prenotazioni CPU. Invariato
Memoria riservata di Kube min(20 × maxPods + 50, 25% of node memory) MiB min(35 × maxPods + max(250, 2% of node memory), 25% of node memory) MiB
ID di processo (PID) riservati per Kube 1000 Non prenotato
CPU riservata al sistema None 100m
Memoria riservata dal sistema None 200 MiB, più 100 MiB per ogni 32 GiB completi di memoria del nodo, più 100 MiB per i cluster che usano Azure CNI
Archiviazione temporanea riservata dal sistema None 1Gi

Soglie di rimozione

Impostazione Senza protezione avanzata dei nodi Con la protezione avanzata dei nodi
Espulsione forzata: memory.available 100Mi 250Mi per i nodi con 8 GiB di memoria o minore, 375Mi per i nodi con più di 8 GiB e meno di 32 GiB e 512Mi per i nodi con 32 GiB o più
Rimozione hard: nodefs.available e nodefs.inodesFree 10% e 5% Invariato
Espulsione forzata: pid.available 2000 Non impostato
Rimozione soft: memory.available None 500Mi, 750Mi o 1Gi, usando gli stessi livelli di memoria del nodo della rimozione hard, con un periodo di tolleranza di 30 secondi
Rimozione soft: nodefs.available e nodefs.inodesFree None 12% e 7%, ognuno con un periodo di tolleranza di 2 minuti
Periodo di tolleranza massimo di terminazione del pod durante la soft eviction Non impostato 60 secondi

Applicazione dei cgroup

Impostazione Senza protezione avanzata dei nodi Con la protezione avanzata dei nodi
Risorse allocabili del nodo applicate pods pods, kube-reserved e system-reserved
Kubelet e cgroup di containerd system.slice, senza limiti kubereserved.slice, con memoria limitata alla memoria kube-reserved e a una quota di CPU proporzionale alla CPU kube-reserved
Cgroup dei servizi host system.slice, senza limiti system.slice, con memoria limitata alla memoria riservata dal sistema e una condivisione cpu proporzionale alla CPU riservata dal sistema

Poiché Node Hardening riserva più capacità, i nodi segnalano una minore capacità allocabile per i pod. Ad esempio, in un nodo con 4 vCPU e 16 GiB di memoria che usa Azure CNI, l'abilitazione di Node Hardening riduce la capacità allocabile come indicato di seguito:

  • Con il valore massimo predefinito di 250 pod per nodo, di circa 570 MiB di memoria, 100 millicore di CPU e 1 GiB di archiviazione temporanea.
  • Con un massimo di 30 pod per nodo, di circa 1,3 GiB di memoria, 100 millicore di CPU e 1 GiB di archiviazione temporanea.

Le soglie di rimozione soft non riducono la capacità allocabile. Cambiano solo quando kubelet inizia a espellere i pod.

Considerations

Tenere presenti le considerazioni seguenti prima di abilitare Node Hardening:

  • Si abilita l'hardening dei nodi a livello di cluster e si applica a tutti i pool di nodi Linux nel cluster. Non è possibile abilitarlo per i singoli pool di nodi e non influisce sui pool di nodi Windows.
  • I nodi segnalano una capacità allocabile inferiore, quindi i pod che prima dell'abilitazione della protezione avanzata dei nodi trovavano spazio su un nodo potrebbero non trovarlo in seguito. Esaminare le richieste di risorse del pod e le dimensioni del pool di nodi.
  • I servizi host in system.slice condividono un limite di memoria rigido uguale alla memoria riservata dal sistema. Se nei nodi vengono eseguiti agenti personalizzati come servizi systemd, ad esempio agenti di sicurezza, monitoraggio o inoltro dei log, tali agenti vengono conteggiati ai fini di questo limite. Convalidarne l'uso della memoria e la stabilità prima di usare la protezione avanzata dei nodi in produzione.
  • I valori impostati nella configurazione kubelet personalizzata di un pool di nodi sostituiscono le impostazioni predefinite corrispondenti di hardening dei nodi. Per altre informazioni, vedere Personalizzare le impostazioni di protezione avanzata dei nodi.
  • Se in seguito si disabilita la protezione avanzata dei nodi, i pool di nodi esistenti mantengono le impostazioni di rimozione soft con protezione avanzata, anche dopo la ricreazione dell'immagine dei nodi. Per rimuovere queste impostazioni, è necessario creare nuovi pool di nodi. Per altre informazioni, vedere Disabilitare l'hardening dei nodi.
  • I valori predefiniti possono cambiare mentre la funzionalità è in anteprima. Iniziare con un cluster non di produzione e convalidare i carichi di lavoro in condizioni rappresentative di pressione dei nodi.

Prerequisites

  • Una sottoscrizione di Azure. Se non ne hai uno, crea un account gratuito.
  • Un cluster del servizio Azure Kubernetes con pool di nodi Linux o autorizzazioni per crearne uno.
  • L'estensione aks-preview di interfaccia della riga di comando di Azure e il flag CustomNodeConfigPreview di funzionalità, come descritto nelle sezioni seguenti.

Installare l'estensione aks-preview interfaccia della riga di comando di Azure

  1. Installare l'estensione aks-preview usando il az extension add comando .

    az extension add --name aks-preview
    
  2. Eseguire l'aggiornamento alla versione più recente dell'estensione usando il az extension update comando .

    az extension update --name aks-preview
    

Registrare il flag di funzionalità CustomNodeConfigPreview

  1. Registra il feature flag CustomNodeConfigPreview usando il comando az feature register.

    az feature register --namespace "Microsoft.ContainerService" --name "CustomNodeConfigPreview"
    

    Sono necessari alcuni minuti per visualizzare lo stato Registered.

  2. Verificare lo stato della registrazione usando il az feature show comando .

    az feature show --namespace "Microsoft.ContainerService" --name "CustomNodeConfigPreview"
    
  3. Quando lo stato mostra Registrato, aggiornare la registrazione del provider di risorse Microsoft.ContainerService usando il comando az provider register.

    az provider register --namespace "Microsoft.ContainerService"
    

Abilitare la protezione avanzata dei nodi

Durante l'anteprima, Node Hardening non è abilitato per impostazione predefinita.

Abilita l'hardening dei nodi in un nuovo cluster

Creare un cluster con la protezione avanzata dei nodi abilitata usando il az aks create comando con il --enable-node-hardening parametro .

Questo comando richiede l'estensione aks-preview e il flag di funzionalità CustomNodeConfigPreview. Per altre informazioni, vedere Prerequisiti.

az aks create \
    --resource-group <resource-group-name> \
    --name <cluster-name> \
    --enable-node-hardening \
    --generate-ssh-keys

Per confermare la modifica, vedere Verificare le impostazioni di protezione avanzata del nodo.

Abilitare l'hardening dei nodi in un cluster esistente

Abilita la protezione avanzata dei nodi in un cluster esistente usando il comando az aks update con il parametro --enable-node-hardening.

Questo comando richiede l'estensione aks-preview e il flag di funzionalità CustomNodeConfigPreview. Per altre informazioni, vedere Prerequisiti.

az aks update \
    --resource-group <resource-group-name> \
    --name <cluster-name> \
    --enable-node-hardening

Per confermare la modifica, vedere Verificare le impostazioni di protezione avanzata del nodo.

Verificare le impostazioni di hardening del nodo

  1. Ottenere le credenziali per il cluster usando il az aks get-credentials comando .

    az aks get-credentials --resource-group <resource-group-name> --name <cluster-name>
    
  2. Esaminare le impostazioni di prenotazione e di eviction kubelet effettive in un nodo eseguendo una query sull'endpoint di configurazione kubelet.

    kubectl get --raw "/api/v1/nodes/<node-name>/proxy/configz" | jq '.kubeletconfig | {kubeReserved, systemReserved, evictionHard, evictionSoft, evictionSoftGracePeriod, evictionMaxPodGracePeriod, enforceNodeAllocatable}'
    

    In un nodo con protezione avanzata, systemReserved e evictionSoft contengono valori e enforceNodeAllocatable include kube-reserved e system-reserved.

  3. Confrontare la capacità del nodo con le sue risorse allocabili.

    kubectl get node <node-name> -o jsonpath='{.status.capacity}{"\n"}{.status.allocatable}{"\n"}'
    

    In un nodo con protezione avanzata, CPU, memoria e archiviazione temporanea allocabili sono inferiori alla capacità. La differenza corrisponde ai valori kube-reserved e system-reserved in Riserve di risorse, più le soglie di rimozione hard in Soglie di rimozione. Ad esempio, in un nodo con 4 vCPU e 16 GiB di memoria che usa Azure CNI, la CPU allocabile è di 240 millicores inferiore alla capacità: 140 millicores di CPU kube-reserved e 100 millicores di CPU riservata dal sistema.

Personalizzare le impostazioni di hardening dei nodi

È possibile eseguire l'override delle impostazioni predefinite di kube-reserved e di eviction per un pool di nodi Linux usando una configurazione kubelet personalizzata. Queste impostazioni richiedono il feature flag CustomNodeConfigPreview. È possibile usarli indipendentemente dal fatto che nel cluster sia abilitato o meno Node Hardening. Il servizio Azure Kubernetes gestisce i valori riservati dal sistema e l'imposizione di cgroup e non è possibile personalizzarli.

Ogni impostazione esegue l'override di una riga nelle tabelle Riserve di risorse o Soglie di rimozione. Le righe riservate di Kube corrispondono alle kubeReserved impostazioni. Le righe di rimozione hard corrispondono alle hardEvictionThreshold impostazioni. Le righe di espulsione soft corrispondono alle impostazioni softEvictionThreshold e softEvictionGracePeriod. Il periodo di tolleranza massimo di terminazione del pod corrisponde a evictionMaxPodGracePeriodInSeconds.

È possibile configurare le impostazioni seguenti:

Impostazione Overrides Description
kubeReserved.cpuMillicores CPU kube-reserved CPU riservata per i daemon di sistema Kubernetes, in millicores.
kubeReserved.memoryMB Memoria kube-reserved Memoria riservata per i daemon di sistema Kubernetes, in MiB.
hardEvictionThreshold.memoryAvailable Rimozione hard: memory.available Soglia di rimozione hard per la memoria disponibile.
hardEvictionThreshold.nodeFsAvailable Rimozione hard: nodefs.available Soglia di rimozione hard per lo spazio disponibile nel file system del nodo.
hardEvictionThreshold.nodeFsInodesFree Espulsione forzata: nodefs.inodesFree Soglia di rimozione hard per gli inode liberi nel file system del nodo.
softEvictionThreshold.memoryAvailable Rimozione soft: memory.available Soglia di espulsione soft per la memoria disponibile.
softEvictionThreshold.nodeFsAvailable Rimozione soft: nodefs.available Soglia di rimozione soft per lo spazio disponibile nel file system del nodo.
softEvictionThreshold.nodeFsInodesFree Rimozione soft: nodefs.inodesFree Soglia di rimozione soft per gli inode liberi nel file system del nodo.
softEvictionGracePeriod.memoryAvailable Rimozione soft: periodo di tolleranza memory.available Periodo durante il quale la memoria disponibile deve rimanere al di sotto della relativa soglia soft prima che kubelet rimuova i pod.
softEvictionGracePeriod.nodeFsAvailable Rimozione soft: periodo di tolleranza nodefs.available Periodo durante il quale lo spazio disponibile nel file system del nodo deve rimanere al di sotto della relativa soglia soft prima che kubelet rimuova i pod.
softEvictionGracePeriod.nodeFsInodesFree Rimozione soft: periodo di tolleranza nodefs.inodesFree Periodo durante il quale gli inode liberi nel file system del nodo devono rimanere al di sotto della relativa soglia soft prima che kubelet rimuova i pod.
evictionMaxPodGracePeriodInSeconds Periodo di tolleranza massimo di terminazione del pod durante la soft eviction Numero massimo di secondi che kubelet consente ai pod di terminare durante un'evizione soft.
  • Per i valori consentiti, i minimi e le regole di convalida per ogni impostazione, vedere Parametri di configurazione dei nodi personalizzati per AKS.
  • Per ogni segnale di espulsione, impostare sia la soglia di espulsione soft che il periodo di tolleranza corrispondente e assicurarsi che ogni soglia di espulsione soft sia maggiore della soglia di espulsione hard per lo stesso segnale.
  1. Creare un file di configurazione kubelet, ad esempio nodehardening-kubelet.json, con le impostazioni da personalizzare. Nell'esempio seguente vengono impostati tutti i valori configurabili. Imposta kube-reserved su 200 millicore di CPU e 1.024 MiB di memoria. Imposta soglie di rimozione hard pari a 512Mi della memoria disponibile, 10% dello spazio disponibile nel file system e 5% degli inode liberi. Imposta soglie di rimozione soft di 1Gi, 12%e 7% con periodi di tolleranza di 30 secondi, 2 minuti e 2 minuti. Imposta anche un periodo di grazia massimo di 60 secondi per la terminazione del pod.

    {
      "kubeReserved": {
        "cpuMillicores": 200,
        "memoryMB": 1024
      },
      "hardEvictionThreshold": {
        "memoryAvailable": "512Mi",
        "nodeFsAvailable": "10%",
        "nodeFsInodesFree": "5%"
      },
      "softEvictionThreshold": {
        "memoryAvailable": "1Gi",
        "nodeFsAvailable": "12%",
        "nodeFsInodesFree": "7%"
      },
      "softEvictionGracePeriod": {
        "memoryAvailable": "30s",
        "nodeFsAvailable": "2m",
        "nodeFsInodesFree": "2m"
      },
      "evictionMaxPodGracePeriodInSeconds": 60
    }
    
  2. Creare un pool di nodi Linux che usa il file di configurazione usando il az aks nodepool add comando con il --kubelet-config parametro .

    az aks nodepool add \
        --resource-group <resource-group-name> \
        --cluster-name <cluster-name> \
        --name <node-pool-name> \
        --kubelet-config ./nodehardening-kubelet.json
    

    È anche possibile usare il --kubelet-config parametro con il az aks create comando per applicare la configurazione al pool di nodi iniziale del cluster.

Disabilitare la protezione avanzata dei nodi

Disabilita la protezione avanzata dei nodi usando il comando az aks update con il parametro --disable-node-hardening.

Questo comando richiede l'estensione aks-preview e il flag di funzionalità CustomNodeConfigPreview. Per altre informazioni, vedere Prerequisiti.

az aks update \
    --resource-group <resource-group-name> \
    --name <cluster-name> \
    --disable-node-hardening

La disabilitazione della protezione avanzata dei nodi disattiva l'impostazione a livello di cluster, ma non modifica immediatamente i nodi esistenti. I nodi esistenti mantengono tutte le impostazioni con protezione avanzata finché non ne viene ricreata l'immagine, ad esempio durante un aggiornamento dell'immagine del nodo. Dopo la ricreazione dell'immagine di un nodo, si applicano le modifiche seguenti:

  • Ripristino dei valori predefiniti standard di AKS: Risorse kube-reserved e system-reserved, soglie di rimozione hard e applicazione dei cgroup. La capacità allocabile del nodo aumenta di conseguenza.
  • Mantenuto: Le soglie di soft eviction, i periodi di grazia della soft eviction e il periodo di grazia massimo per la terminazione del pod durante la soft eviction.

È possibile impostare una configurazione kubelet personalizzata solo quando si crea un cluster o un pool di nodi, quindi non è possibile rimuovere le impostazioni di eviction soft mantenute da un pool di nodi esistente. Per rimuoverle, creare un nuovo pool di nodi che ne annulli esplicitamente l'impostazione, spostare i carichi di lavoro nel nuovo pool di nodi e quindi eliminare quello precedente.

  1. Creare un file di configurazione kubelet, ad esempio remove-soft-eviction.json. L'esempio seguente imposta ogni soglia di rimozione soft e ogni periodo di tolleranza su una stringa vuota, disattivando la rimozione soft per il relativo segnale. Imposta anche il periodo di tolleranza massimo di terminazione del pod su 0, che è il valore predefinito standard di AKS.

    {
      "softEvictionThreshold": {
        "memoryAvailable": "",
        "nodeFsAvailable": "",
        "nodeFsInodesFree": ""
      },
      "softEvictionGracePeriod": {
        "memoryAvailable": "",
        "nodeFsAvailable": "",
        "nodeFsInodesFree": ""
      },
      "evictionMaxPodGracePeriodInSeconds": 0
    }
    
  2. Creare un pool di nodi Linux che usa il file di configurazione usando il az aks nodepool add comando con il --kubelet-config parametro .

    az aks nodepool add \
        --resource-group <resource-group-name> \
        --cluster-name <cluster-name> \
        --name <node-pool-name> \
        --kubelet-config ./remove-soft-eviction.json
    
  3. Spostare i carichi di lavoro nel nuovo pool di nodi e quindi eliminare il pool di nodi precedente. Per altre informazioni, vedere Ridimensionare i pool di nodi nel servizio Azure Kubernetes.

Per confermare le impostazioni su un nodo, vedere Verificare le impostazioni di protezione avanzata del nodo. Nei nodi del nuovo pool di nodi, evictionSoft è vuoto.