Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Node Hardening è una funzionalità facoltativa per i pool di nodi Linux che protegge la stabilità dei nodi quando i carichi di lavoro mettono i nodi sotto pressione di CPU, memoria o disco. Quando si abilita la protezione avanzata dei nodi in un cluster, AKS modifica il modo in cui ogni nodo gestisce la riserva e l'applicazione delle risorse per i componenti Kubernetes e i servizi host, nonché il modo in cui kubelet rimuove i pod quando le risorse scarseggiano.
Questo articolo illustra le modifiche apportate da Node Hardening, confronta le impostazioni predefinite con le impostazioni predefinite standard di AKS e illustra come abilitare, verificare, personalizzare e disabilitare la funzionalità.
Importante
Le funzionalità in anteprima di AKS sono disponibili in modalità self-service, su base volontaria. Le anteprime vengono fornite "così come sono" e "come disponibili" e sono escluse dai contratti di servizio e dalla garanzia limitata. Le anteprime di AKS sono coperte solo parzialmente dall'assistenza clienti nei limiti del possibile. Di conseguenza, queste funzionalità non sono destinate all'uso in produzione. Per altre informazioni, vedere gli articoli di supporto seguenti:
Vantaggi dell'hardening dei nodi
Nei nodi occupati o con picchi, i carichi di lavoro possono usare risorse necessarie per kubelet, il runtime del contenitore e i servizi host. In questo caso, i nodi possono non rispondere, segnalare uno stato NotReady o terminare improvvisamente i pod. La protezione avanzata dei nodi riduce questi rischi nei modi seguenti:
-
Riserve applicate: Per impostazione predefinita, AKS usa i valori kube-reserved solo per calcolare la quantità di capacità che l'Unità di pianificazione può allocare ai pod. Utilizzando Node Hardening, kubelet fa rispettare anche le risorse riservate kube-reserved e system-reserved tramite i gruppi di controllo Linux (cgroups). Il kubelet e containerd vengono eseguiti in un cgroup dedicato
kubereserved.slice, in modo che mantengano la quota di CPU riservata e la memoria riservata anche quando i pod saturano il nodo. -
Capacità dedicata per i servizi host: La protezione avanzata dei nodi aggiunge un'allocazione system-reserved per i servizi del sistema operativo host, eseguiti in
system.slice. - Più margine di memoria: La soglia hard di eviction per la memoria disponibile si adatta alla memoria del nodo, quindi kubelet rimuove i pod prima che il nodo raggiunga un livello di memoria criticamente basso.
- Rimozione graduale: Le soglie di rimozione soft consentono a kubelet di rimuovere gradualmente i pod, con un periodo di tolleranza per la terminazione, quando la memoria o lo spazio su disco scarseggiano. La rimozione hard, che termina immediatamente i pod, interviene quindi come ultima risorsa.
- Riserve che si adattano alla densità dei pod: Il calcolo della memoria kube-reserved aumenta con il numero massimo di pod per nodo, tenendo conto dell'overhead di kubelet e containerd dovuto all'esecuzione di più pod.
Cosa cambia quando si abilita Node Hardening
Le tabelle seguenti confrontano le impostazioni predefinite standard per i nodi Linux che eseguono Kubernetes 1.29 o versione successiva con le impostazioni predefinite applicate da AKS quando Node Hardening è abilitato.
Prenotazioni di risorse
| Impostazione | Senza hardening dei nodi | Con la protezione avanzata dei nodi |
|---|---|---|
| CPU kube-reserved | In base al numero di core CPU. Per altre informazioni, vedere Prenotazioni CPU. | Invariato |
| Memoria riservata di Kube |
min(20 × maxPods + 50, 25% of node memory) MiB |
min(35 × maxPods + max(250, 2% of node memory), 25% of node memory) MiB |
| ID di processo (PID) riservati per Kube | 1000 |
Non prenotato |
| CPU riservata al sistema | None | 100m |
| Memoria riservata dal sistema | None | 200 MiB, più 100 MiB per ogni 32 GiB completi di memoria del nodo, più 100 MiB per i cluster che usano Azure CNI |
| Archiviazione temporanea riservata dal sistema | None | 1Gi |
Soglie di rimozione
| Impostazione | Senza protezione avanzata dei nodi | Con la protezione avanzata dei nodi |
|---|---|---|
Espulsione forzata: memory.available |
100Mi |
250Mi per i nodi con 8 GiB di memoria o minore, 375Mi per i nodi con più di 8 GiB e meno di 32 GiB e 512Mi per i nodi con 32 GiB o più |
Rimozione hard: nodefs.available e nodefs.inodesFree |
10% e 5% |
Invariato |
Espulsione forzata: pid.available |
2000 |
Non impostato |
Rimozione soft: memory.available |
None |
500Mi, 750Mi o 1Gi, usando gli stessi livelli di memoria del nodo della rimozione hard, con un periodo di tolleranza di 30 secondi |
Rimozione soft: nodefs.available e nodefs.inodesFree |
None |
12% e 7%, ognuno con un periodo di tolleranza di 2 minuti |
| Periodo di tolleranza massimo di terminazione del pod durante la soft eviction | Non impostato | 60 secondi |
Applicazione dei cgroup
| Impostazione | Senza protezione avanzata dei nodi | Con la protezione avanzata dei nodi |
|---|---|---|
| Risorse allocabili del nodo applicate | pods |
pods, kube-reserved e system-reserved |
| Kubelet e cgroup di containerd |
system.slice, senza limiti |
kubereserved.slice, con memoria limitata alla memoria kube-reserved e a una quota di CPU proporzionale alla CPU kube-reserved |
| Cgroup dei servizi host |
system.slice, senza limiti |
system.slice, con memoria limitata alla memoria riservata dal sistema e una condivisione cpu proporzionale alla CPU riservata dal sistema |
Poiché Node Hardening riserva più capacità, i nodi segnalano una minore capacità allocabile per i pod. Ad esempio, in un nodo con 4 vCPU e 16 GiB di memoria che usa Azure CNI, l'abilitazione di Node Hardening riduce la capacità allocabile come indicato di seguito:
- Con il valore massimo predefinito di 250 pod per nodo, di circa 570 MiB di memoria, 100 millicore di CPU e 1 GiB di archiviazione temporanea.
- Con un massimo di 30 pod per nodo, di circa 1,3 GiB di memoria, 100 millicore di CPU e 1 GiB di archiviazione temporanea.
Le soglie di rimozione soft non riducono la capacità allocabile. Cambiano solo quando kubelet inizia a espellere i pod.
Considerations
Tenere presenti le considerazioni seguenti prima di abilitare Node Hardening:
- Si abilita l'hardening dei nodi a livello di cluster e si applica a tutti i pool di nodi Linux nel cluster. Non è possibile abilitarlo per i singoli pool di nodi e non influisce sui pool di nodi Windows.
- I nodi segnalano una capacità allocabile inferiore, quindi i pod che prima dell'abilitazione della protezione avanzata dei nodi trovavano spazio su un nodo potrebbero non trovarlo in seguito. Esaminare le richieste di risorse del pod e le dimensioni del pool di nodi.
- I servizi host in
system.slicecondividono un limite di memoria rigido uguale alla memoria riservata dal sistema. Se nei nodi vengono eseguiti agenti personalizzati come servizi systemd, ad esempio agenti di sicurezza, monitoraggio o inoltro dei log, tali agenti vengono conteggiati ai fini di questo limite. Convalidarne l'uso della memoria e la stabilità prima di usare la protezione avanzata dei nodi in produzione. - I valori impostati nella configurazione kubelet personalizzata di un pool di nodi sostituiscono le impostazioni predefinite corrispondenti di hardening dei nodi. Per altre informazioni, vedere Personalizzare le impostazioni di protezione avanzata dei nodi.
- Se in seguito si disabilita la protezione avanzata dei nodi, i pool di nodi esistenti mantengono le impostazioni di rimozione soft con protezione avanzata, anche dopo la ricreazione dell'immagine dei nodi. Per rimuovere queste impostazioni, è necessario creare nuovi pool di nodi. Per altre informazioni, vedere Disabilitare l'hardening dei nodi.
- I valori predefiniti possono cambiare mentre la funzionalità è in anteprima. Iniziare con un cluster non di produzione e convalidare i carichi di lavoro in condizioni rappresentative di pressione dei nodi.
Prerequisites
- Una sottoscrizione di Azure. Se non ne hai uno, crea un account gratuito.
- Un cluster del servizio Azure Kubernetes con pool di nodi Linux o autorizzazioni per crearne uno.
- L'estensione
aks-previewdi interfaccia della riga di comando di Azure e il flagCustomNodeConfigPreviewdi funzionalità, come descritto nelle sezioni seguenti.
Installare l'estensione aks-preview interfaccia della riga di comando di Azure
Installare l'estensione
aks-previewusando ilaz extension addcomando .az extension add --name aks-previewEseguire l'aggiornamento alla versione più recente dell'estensione usando il
az extension updatecomando .az extension update --name aks-preview
Registrare il flag di funzionalità CustomNodeConfigPreview
Registra il feature flag
CustomNodeConfigPreviewusando il comandoaz feature register.az feature register --namespace "Microsoft.ContainerService" --name "CustomNodeConfigPreview"Sono necessari alcuni minuti per visualizzare lo stato Registered.
Verificare lo stato della registrazione usando il
az feature showcomando .az feature show --namespace "Microsoft.ContainerService" --name "CustomNodeConfigPreview"Quando lo stato mostra Registrato, aggiornare la registrazione del provider di risorse Microsoft.ContainerService usando il comando
az provider register.az provider register --namespace "Microsoft.ContainerService"
Abilitare la protezione avanzata dei nodi
Durante l'anteprima, Node Hardening non è abilitato per impostazione predefinita.
Abilita l'hardening dei nodi in un nuovo cluster
Creare un cluster con la protezione avanzata dei nodi abilitata usando il az aks create comando con il --enable-node-hardening parametro .
Questo comando richiede l'estensione aks-preview e il flag di funzionalità CustomNodeConfigPreview. Per altre informazioni, vedere Prerequisiti.
az aks create \
--resource-group <resource-group-name> \
--name <cluster-name> \
--enable-node-hardening \
--generate-ssh-keys
Per confermare la modifica, vedere Verificare le impostazioni di protezione avanzata del nodo.
Abilitare l'hardening dei nodi in un cluster esistente
Abilita la protezione avanzata dei nodi in un cluster esistente usando il comando az aks update con il parametro --enable-node-hardening.
Questo comando richiede l'estensione aks-preview e il flag di funzionalità CustomNodeConfigPreview. Per altre informazioni, vedere Prerequisiti.
az aks update \
--resource-group <resource-group-name> \
--name <cluster-name> \
--enable-node-hardening
Per confermare la modifica, vedere Verificare le impostazioni di protezione avanzata del nodo.
Verificare le impostazioni di hardening del nodo
Ottenere le credenziali per il cluster usando il
az aks get-credentialscomando .az aks get-credentials --resource-group <resource-group-name> --name <cluster-name>Esaminare le impostazioni di prenotazione e di eviction kubelet effettive in un nodo eseguendo una query sull'endpoint di configurazione kubelet.
kubectl get --raw "/api/v1/nodes/<node-name>/proxy/configz" | jq '.kubeletconfig | {kubeReserved, systemReserved, evictionHard, evictionSoft, evictionSoftGracePeriod, evictionMaxPodGracePeriod, enforceNodeAllocatable}'In un nodo con protezione avanzata,
systemReservedeevictionSoftcontengono valori eenforceNodeAllocatableincludekube-reservedesystem-reserved.Confrontare la capacità del nodo con le sue risorse allocabili.
kubectl get node <node-name> -o jsonpath='{.status.capacity}{"\n"}{.status.allocatable}{"\n"}'In un nodo con protezione avanzata, CPU, memoria e archiviazione temporanea allocabili sono inferiori alla capacità. La differenza corrisponde ai valori kube-reserved e system-reserved in Riserve di risorse, più le soglie di rimozione hard in Soglie di rimozione. Ad esempio, in un nodo con 4 vCPU e 16 GiB di memoria che usa Azure CNI, la CPU allocabile è di 240 millicores inferiore alla capacità: 140 millicores di CPU kube-reserved e 100 millicores di CPU riservata dal sistema.
Personalizzare le impostazioni di hardening dei nodi
È possibile eseguire l'override delle impostazioni predefinite di kube-reserved e di eviction per un pool di nodi Linux usando una configurazione kubelet personalizzata. Queste impostazioni richiedono il feature flag CustomNodeConfigPreview. È possibile usarli indipendentemente dal fatto che nel cluster sia abilitato o meno Node Hardening. Il servizio Azure Kubernetes gestisce i valori riservati dal sistema e l'imposizione di cgroup e non è possibile personalizzarli.
Ogni impostazione esegue l'override di una riga nelle tabelle Riserve di risorse o Soglie di rimozione. Le righe riservate di Kube corrispondono alle kubeReserved impostazioni. Le righe di rimozione hard corrispondono alle hardEvictionThreshold impostazioni. Le righe di espulsione soft corrispondono alle impostazioni softEvictionThreshold e softEvictionGracePeriod. Il periodo di tolleranza massimo di terminazione del pod corrisponde a evictionMaxPodGracePeriodInSeconds.
È possibile configurare le impostazioni seguenti:
| Impostazione | Overrides | Description |
|---|---|---|
kubeReserved.cpuMillicores |
CPU kube-reserved | CPU riservata per i daemon di sistema Kubernetes, in millicores. |
kubeReserved.memoryMB |
Memoria kube-reserved | Memoria riservata per i daemon di sistema Kubernetes, in MiB. |
hardEvictionThreshold.memoryAvailable |
Rimozione hard: memory.available |
Soglia di rimozione hard per la memoria disponibile. |
hardEvictionThreshold.nodeFsAvailable |
Rimozione hard: nodefs.available |
Soglia di rimozione hard per lo spazio disponibile nel file system del nodo. |
hardEvictionThreshold.nodeFsInodesFree |
Espulsione forzata: nodefs.inodesFree |
Soglia di rimozione hard per gli inode liberi nel file system del nodo. |
softEvictionThreshold.memoryAvailable |
Rimozione soft: memory.available |
Soglia di espulsione soft per la memoria disponibile. |
softEvictionThreshold.nodeFsAvailable |
Rimozione soft: nodefs.available |
Soglia di rimozione soft per lo spazio disponibile nel file system del nodo. |
softEvictionThreshold.nodeFsInodesFree |
Rimozione soft: nodefs.inodesFree |
Soglia di rimozione soft per gli inode liberi nel file system del nodo. |
softEvictionGracePeriod.memoryAvailable |
Rimozione soft: periodo di tolleranza memory.available |
Periodo durante il quale la memoria disponibile deve rimanere al di sotto della relativa soglia soft prima che kubelet rimuova i pod. |
softEvictionGracePeriod.nodeFsAvailable |
Rimozione soft: periodo di tolleranza nodefs.available |
Periodo durante il quale lo spazio disponibile nel file system del nodo deve rimanere al di sotto della relativa soglia soft prima che kubelet rimuova i pod. |
softEvictionGracePeriod.nodeFsInodesFree |
Rimozione soft: periodo di tolleranza nodefs.inodesFree |
Periodo durante il quale gli inode liberi nel file system del nodo devono rimanere al di sotto della relativa soglia soft prima che kubelet rimuova i pod. |
evictionMaxPodGracePeriodInSeconds |
Periodo di tolleranza massimo di terminazione del pod durante la soft eviction | Numero massimo di secondi che kubelet consente ai pod di terminare durante un'evizione soft. |
- Per i valori consentiti, i minimi e le regole di convalida per ogni impostazione, vedere Parametri di configurazione dei nodi personalizzati per AKS.
- Per ogni segnale di espulsione, impostare sia la soglia di espulsione soft che il periodo di tolleranza corrispondente e assicurarsi che ogni soglia di espulsione soft sia maggiore della soglia di espulsione hard per lo stesso segnale.
Creare un file di configurazione kubelet, ad esempio
nodehardening-kubelet.json, con le impostazioni da personalizzare. Nell'esempio seguente vengono impostati tutti i valori configurabili. Imposta kube-reserved su 200 millicore di CPU e 1.024 MiB di memoria. Imposta soglie di rimozione hard pari a512Midella memoria disponibile,10%dello spazio disponibile nel file system e5%degli inode liberi. Imposta soglie di rimozione soft di1Gi,12%e7%con periodi di tolleranza di 30 secondi, 2 minuti e 2 minuti. Imposta anche un periodo di grazia massimo di 60 secondi per la terminazione del pod.{ "kubeReserved": { "cpuMillicores": 200, "memoryMB": 1024 }, "hardEvictionThreshold": { "memoryAvailable": "512Mi", "nodeFsAvailable": "10%", "nodeFsInodesFree": "5%" }, "softEvictionThreshold": { "memoryAvailable": "1Gi", "nodeFsAvailable": "12%", "nodeFsInodesFree": "7%" }, "softEvictionGracePeriod": { "memoryAvailable": "30s", "nodeFsAvailable": "2m", "nodeFsInodesFree": "2m" }, "evictionMaxPodGracePeriodInSeconds": 60 }Creare un pool di nodi Linux che usa il file di configurazione usando il
az aks nodepool addcomando con il--kubelet-configparametro .az aks nodepool add \ --resource-group <resource-group-name> \ --cluster-name <cluster-name> \ --name <node-pool-name> \ --kubelet-config ./nodehardening-kubelet.jsonÈ anche possibile usare il
--kubelet-configparametro con ilaz aks createcomando per applicare la configurazione al pool di nodi iniziale del cluster.
Disabilitare la protezione avanzata dei nodi
Disabilita la protezione avanzata dei nodi usando il comando az aks update con il parametro --disable-node-hardening.
Questo comando richiede l'estensione aks-preview e il flag di funzionalità CustomNodeConfigPreview. Per altre informazioni, vedere Prerequisiti.
az aks update \
--resource-group <resource-group-name> \
--name <cluster-name> \
--disable-node-hardening
La disabilitazione della protezione avanzata dei nodi disattiva l'impostazione a livello di cluster, ma non modifica immediatamente i nodi esistenti. I nodi esistenti mantengono tutte le impostazioni con protezione avanzata finché non ne viene ricreata l'immagine, ad esempio durante un aggiornamento dell'immagine del nodo. Dopo la ricreazione dell'immagine di un nodo, si applicano le modifiche seguenti:
- Ripristino dei valori predefiniti standard di AKS: Risorse kube-reserved e system-reserved, soglie di rimozione hard e applicazione dei cgroup. La capacità allocabile del nodo aumenta di conseguenza.
- Mantenuto: Le soglie di soft eviction, i periodi di grazia della soft eviction e il periodo di grazia massimo per la terminazione del pod durante la soft eviction.
È possibile impostare una configurazione kubelet personalizzata solo quando si crea un cluster o un pool di nodi, quindi non è possibile rimuovere le impostazioni di eviction soft mantenute da un pool di nodi esistente. Per rimuoverle, creare un nuovo pool di nodi che ne annulli esplicitamente l'impostazione, spostare i carichi di lavoro nel nuovo pool di nodi e quindi eliminare quello precedente.
Creare un file di configurazione kubelet, ad esempio
remove-soft-eviction.json. L'esempio seguente imposta ogni soglia di rimozione soft e ogni periodo di tolleranza su una stringa vuota, disattivando la rimozione soft per il relativo segnale. Imposta anche il periodo di tolleranza massimo di terminazione del pod su0, che è il valore predefinito standard di AKS.{ "softEvictionThreshold": { "memoryAvailable": "", "nodeFsAvailable": "", "nodeFsInodesFree": "" }, "softEvictionGracePeriod": { "memoryAvailable": "", "nodeFsAvailable": "", "nodeFsInodesFree": "" }, "evictionMaxPodGracePeriodInSeconds": 0 }Creare un pool di nodi Linux che usa il file di configurazione usando il
az aks nodepool addcomando con il--kubelet-configparametro .az aks nodepool add \ --resource-group <resource-group-name> \ --cluster-name <cluster-name> \ --name <node-pool-name> \ --kubelet-config ./remove-soft-eviction.jsonSpostare i carichi di lavoro nel nuovo pool di nodi e quindi eliminare il pool di nodi precedente. Per altre informazioni, vedere Ridimensionare i pool di nodi nel servizio Azure Kubernetes.
Per confermare le impostazioni su un nodo, vedere Verificare le impostazioni di protezione avanzata del nodo. Nei nodi del nuovo pool di nodi, evictionSoft è vuoto.