Parâmetros de configuração de nó personalizados para AKS (Serviço de Kubernetes do Azure)

Este artigo lista os parâmetros de configuração de nó personalizado com suporte para pools de nós AKS (Serviço de Kubernetes do Azure). Para saber como criar e aplicar arquivos de configuração, consulte Personalizar a configuração do nó para pools de nós do AKS.

Parâmetros de configuração personalizados do Kubelet

Importante

Ao habilitar sysctls não seguros, você assume a responsabilidade pela estabilidade do nó e pelo comportamento da carga de trabalho. Sysctls não seguros podem possivelmente causar instabilidade no nó ou vulnerabilidades de segurança se configurados incorretamente. Certifique-se de entender as implicações de habilitar sysctls não seguros específicos e monitore a integridade do cluster de perto depois de fazer alterações.

Note

As kubeReservedconfigurações , hardEvictionThreshold, softEvictionThresholdsoftEvictionGracePeriode evictionMaxPodGracePeriodInSeconds , fazem parte da versão prévia de Proteção de Nó do AKS e se aplicam somente aos pools de nós do Linux. Registre o CustomNodeConfigPreview sinalizador de recurso antes de usar essas configurações. Para habilitar o Endurecimento de Nó, consulte o Endurecimento de Nó (versão prévia) no AKS.

Para cada sinal de remoção, defina os valores e os softEvictionThreshold valores correspondentes softEvictionGracePeriod . Você pode omitir os dois valores para usar o padrão ou definir ambos os valores como cadeias de caracteres vazias para recusar a remoção reversível desse sinal. Se você especificar um limite de remoção reversível, ele deverá ser maior do que o limite de remoção rígido efetivo para o mesmo sinal.

Configuração personalizada do kubelet do Linux

Parâmetro Os valores/intervalos permitidos Default Description
cpuManagerPolicy nenhum, estático Nenhum A política estática permite que contêineres em pods garantidos com solicitações de CPU por número inteiro tenham acesso exclusivo a CPUs no nó.
cpuCfsQuota verdadeiro, falso verdadeiro Habilitar/desabilitar a imposição de cota de CFS da CPU para contêineres que especificam limites de CPU.
cpuCfsQuotaPeriod Intervalo emmilissegundos(ms) 100ms Define o valor do período de cota do CFS da CPU.
imageGcHighThreshold 0-100 85 A porcentagem de uso do disco após a qual a coleta de lixo da imagem é sempre executada. Uso mínimo de disco que inicia a coleta de lixo. Para desabilitar a coleta de lixo de imagem, defina como 100.
imageGcLowThreshold 0-100, não é maior que imageGcHighThreshold 80 A porcentagem de uso do disco antes da qual a coleta de lixo da imagem nunca é executada. Uso mínimo do disco que pode disparar a coleta de lixo.
topologyManagerPolicy nenhum, melhor esforço, restrito, nó único Nenhum Otimize o alinhamento do nó NUMA. Para obter mais informações, consulte Políticas de Gerenciamento de Topologia de Controle em um nó.
allowedUnsafeSysctls kernel.shm*, kernel.msg*, kernel.sem, , fs.mqueue.*net.* None Lista permitida de padrões de sysctl sysctls ou inseguros.
containerLogMaxSizeMB Tamanho em megabytes (MB) 50 O tamanho máximo (por exemplo, 10 MB) de um arquivo de log de contêiner antes de ser rotacionado.
containerLogMaxFiles 2 ou superior 5 O número máximo de arquivos de log de contêiner a serem retidos para um contêiner.
podMaxPids -1 para o limite de PID do kernel -1 (infinito) O número máximo de IDs de processo que podem ser executadas em um pod.
seccompDefault Unconfined, RuntimeDefault Unconfined Define o perfil de seccomp padrão para todas as cargas de trabalho. RuntimeDefault usa o perfil de seccomp padrão do contêiner, restringindo determinadas chamadas do sistema para aprimorar a segurança. As chamadas restritas falham. Unconfined não impõe restrições a chamadas de sistema (syscalls), permitindo todas as chamadas do sistema e reduzindo a segurança. Para obter mais informações, consulte o perfil de seccomp padrão do containerd. Esse parâmetro está em versão prévia. Registre o sinalizador de recurso "KubeletDefaultSeccompProfilePreview" com o comando az feature register usando --namespace "Microsoft.ContainerService".
kubeReserved.cpuMillicores 140 para a capacidade da CPU do pool de nós em mililitros Computado pelo AKS com base no tamanho da VM Reserva CPU para daemons do sistema kubernetes.
kubeReserved.memoryMB 750 para a capacidade de memória do pool de nós no MiB Computado pelo AKS a partir da memória do nó e do máximo de pods por nó: min(20 × maxPods + 50, 25% of node memory) MiB. Com proteção de nó: min(35 × maxPods + max(250, 2% of node memory), 25% of node memory) MiB Reserva memória para daemons do sistema kubernetes.
hardEvictionThreshold.memoryAvailable <number>Ki, <number>Miou <number>Gi com um mínimo de 100Mi; ou 2% para 100% 100Mi. Com proteção de nó: 250Mi para nós com 8 GiB de memória ou menos, 375Mi para nós com mais de 8 GiB e menos de 32 GiB e 512Mi para nós com 32 GiB ou mais Define o limite de remoção rígido para a memória disponível.
hardEvictionThreshold.nodeFsAvailable <number>Ki, <number>Miou <number>Gi10% para100% 10% Define o limite de remoção rígido para o espaço disponível do sistema de arquivos do nó.
hardEvictionThreshold.nodeFsInodesFree <number> ou 5% para 100% 5% Define o limite de remoção rígido para inodes de sistema de arquivos de nó gratuito.
softEvictionThreshold.memoryAvailable Cadeia de caracteres vazia; <number>Ki, <number>Miou <number>Gi com um mínimo de 100Mi; ou 2% para 100% None. Com proteção de nó: 500Mi para nós com 8 GiB de memória ou menos, 750Mi para nós com mais de 8 GiB e menos de 32 GiB e 1Gi para nós com 32 GiB ou mais Define o limite de remoção reversível para a memória disponível. O valor deve ser maior que o valor efetivo hardEvictionThreshold.memoryAvailable .
softEvictionThreshold.nodeFsAvailable Cadeia de caracteres vazia; <number>Ki, <number>Miou <number>Gi10% para100% 12% quando a proteção de nó estiver habilitada; Caso contrário, nenhum Define o limite de remoção reversível para o espaço disponível do sistema de arquivos do nó. O valor deve ser maior que o valor efetivo hardEvictionThreshold.nodeFsAvailable .
softEvictionThreshold.nodeFsInodesFree Cadeia de caracteres vazia; <number> ou 5% para 100% 7% quando a proteção de nó estiver habilitada; Caso contrário, nenhum Define o limite de remoção reversível para inodes de sistema de arquivos de nó gratuito. O valor deve ser maior que o valor efetivo hardEvictionThreshold.nodeFsInodesFree .
softEvictionGracePeriod.memoryAvailable Cadeia de caracteres vazia ou duração do estilo Go de pelo menos 30s usarns, , us, ms, sou mh 30s quando a proteção de nó estiver habilitada; Caso contrário, nenhum Define por quanto tempo o memoryAvailable limite de remoção reversível deve ser cruzado antes que o kubelet remova pods.
softEvictionGracePeriod.nodeFsAvailable Cadeia de caracteres vazia ou duração do estilo Go de pelo menos 30s usarns, , us, ms, sou mh 2m quando a proteção de nó estiver habilitada; Caso contrário, nenhum Define por quanto tempo o nodeFsAvailable limite de remoção reversível deve ser cruzado antes que o kubelet remova pods.
softEvictionGracePeriod.nodeFsInodesFree Cadeia de caracteres vazia ou duração do estilo Go de pelo menos 30s usarns, , us, ms, sou mh 2m quando a proteção de nó estiver habilitada; Caso contrário, nenhum Define por quanto tempo o nodeFsInodesFree limite de remoção reversível deve ser cruzado antes que o kubelet remova pods.
evictionMaxPodGracePeriodInSeconds 0 ou maior 60 quando a proteção de nó estiver habilitada; 0 caso contrário, Define o número máximo de segundos que o kubelet permite que os pods terminem durante uma remoção temporária.

Configuração personalizada do kubelet do Windows

Parâmetro Os valores/intervalos permitidos Default Description
imageGcHighThreshold 0-100 85 A porcentagem de uso do disco após a qual a coleta de lixo da imagem é sempre executada. Uso mínimo de disco que inicia a coleta de lixo. Para desabilitar a coleta de lixo de imagem, defina como 100.
imageGcLowThreshold 0-100, não é maior que imageGcHighThreshold 80 A porcentagem de uso do disco antes da qual a coleta de lixo da imagem nunca é executada. Uso mínimo do disco que pode disparar a coleta de lixo.
containerLogMaxSizeMB Tamanho em megabytes (MB) 10 O tamanho máximo (por exemplo, 10 MB) de um arquivo de log de contêiner antes de ser rotacionado.
containerLogMaxFiles 2 ou superior 5 O número máximo de arquivos de log de contêiner a serem retidos para um contêiner.

Parâmetros de configuração do sistema operacional personalizado do Linux

Importante

Para simplificar a pesquisa e a legibilidade, as configurações do sistema operacional são exibidas neste artigo pelo nome, mas devem ser adicionadas ao arquivo JSON de configuração ou à API do AKS usando a convenção de capitalização camelCase.

Por exemplo, se você modificar a vm.max_map_count configuração, deverá reformatá-la vmMaxMapCount no arquivo JSON de configuração.

Limites do identificador de arquivo do Linux

Ao atender a altas quantidades de tráfego, esse tráfego geralmente vem de um grande número de arquivos locais. É possível ajustar as seguintes configurações de kernel e limites internos para aumentar a capacidade de processamento, ao custo de uma parte da memória do sistema.

A tabela a seguir lista os limites de manipuladores de arquivos que você pode personalizar por pool de nós.

Setting Os valores/intervalos permitidos Padrão do Ubuntu 22.04 Padrão do Ubuntu 24.04 Padrão do Azure Linux 3.0 Description
fs.file-max 8192 - 9223372036854775807 9223372036854775807 9223372036854775807 9223372036854775807 Número máximo de descritores de arquivo alocados pelo kernel do Linux. Esse valor é definido como o valor máximo possível (2^63-1) para evitar o esgotamento do descritor de arquivo e garantir um número ilimitado de identificadores de arquivo em nível de sistema para cargas de trabalho em contêineres.
fs.inotify.max_user_watches 781250 - 2097152 1048576 1048576 1048576 Número máximo de inspeções de arquivo permitidas pelo sistema. Cada inspeção tem aproximadamente 90 bytes em um kernel de 32 bits e aproximadamente 160 bytes em um kernel de 64 bits.
fs.aio-max-nr 65536 - 6553500 65536 65536 65536 O aio-nr mostra o número atual de solicitações de E/S assíncronas em todo o sistema. AIO-Max-NR permite que você altere o valor máximo AIO-NR pode aumentar para.
fs.nr_open 8192 - 20000500 1048576 1048576 1073741816 O número máximo de identificadores de arquivo que um processo pode alocar.

Note

O fs.file-max parâmetro é definido como 9223372036854775807 (o valor máximo para um inteiro de 64 bits assinado) no Ubuntu e no Azure Linux com base em padrões upstream. Esta configuração:

  • Impede ataques de negação de serviço com base no esgotamento do descritor de arquivos em todo o sistema.
  • Garante que as cargas de trabalho de contêiner nunca sejam afuniladas pelos limites de identificador de arquivo de todo o sistema.
  • Mantém a segurança por meio de limites por processo (fs.nr_open e ulimit) que ainda se aplicam a processos individuais.
  • Otimiza para plataformas de contêiner em que muitos contêineres podem ser executados simultaneamente, cada um potencialmente abrindo muitos arquivos e conexões de rede.

Ajuste de rede e soquete do Linux

Para nós de agentes, que devem lidar com um grande número de sessões simultâneas, podem-se usar as seguintes opções de TCP e rede e ajustá-las por pool de nós:

Setting Os valores/intervalos permitidos Padrão do Ubuntu 22.04 Padrão do Ubuntu 24.04 Padrão do Azure Linux 3.0 Description
net.core.somaxconn 4096 - 3240000 16384 16384 16384 Número máximo de solicitações de conexão que podem ser enfileiradas para qualquer soquete de escuta específico. Um limite superior para o valor do parâmetro backlog passado para a função Listen (2). Se o argumento da pendência for maior que o somaxconn, ele será silenciosamente truncado para esse limite.
net.core.netdev_max_backlog 1000 - 3240000 1000 1000 1000 Número máximo de pacotes, em fila no lado de entrada, quando a interface recebe pacotes mais rápidos do que o kernel pode processá-los.
net.core.rmem_max 212992 - 134217728 1048576 1048576 212992 O tamanho do buffer do soquete recebido máximo em bytes
net.core.wmem_max 212992 - 134217728 212992 212992 212992 O tamanho do buffer do soquete enviado máximo em bytes
net.core.optmem_max 20480 - 4194304 20480 131072 20480 Tamanho máximo de buffer auxiliar (buffer de memória de opção) permitido por soquete. A memória de opção de soquete é usada em alguns casos para armazenar estruturas extras relacionadas ao uso do soquete.
net.ipv4.tcp_max_syn_backlog 128 - 3240000 16384 16384 16384 O número máximo de solicitações de conexão na fila que não receberam uma confirmação do cliente de conexão. Se esse número for excedido, o kernel começará a remover solicitações.
net.ipv4.tcp_max_tw_buckets 8000 - 1440000 262144 262144 131072 Número máximo de TIME-WAIT soquetes mantidos pelo sistema simultaneamente. Se esse número for excedido, o soquete de espera de tempo será destruído imediatamente e o aviso será impresso.
net.ipv4.tcp_fin_timeout 5 - 120 60 60 60 O período de tempo em que uma conexão órfã (não referenciada por nenhum aplicativo) permanece no estado FIN_WAIT_2 antes de ser anulada no final local.
net.ipv4.tcp_keepalive_time 30 - 432000 7200 7200 7200 Com que frequência o TCP envia keepalive mensagens quando keepalive está habilitado.
net.ipv4.tcp_keepalive_probes 1 - 15 9 9 9 Quantas keepalive investigações o TCP envia, até que decida que a conexão foi interrompida.
net.ipv4.tcp_keepalive_intvl 10 - 90 75 75 75 Com que frequência as investigações são enviadas. Multiplicado por tcp_keepalive_probes ele torna-se o tempo para eliminar uma conexão que não está respondendo, após o início das investigações.
net.ipv4.tcp_tw_reuse 2 2 2 Permite a reutilização de TIME-WAIT soquetes para novas conexões quando ele estiver seguro em um ponto de vista de protocolo.
net.ipv4.ip_local_port_range Primeiro: 1024 - 60999 e último: 32768 - 65535] Primeiro: 32768 e último: 60999 Primeiro: 32768 e último: 60999 Primeiro: 32768 e último: 60999 O intervalo de portas local que é usado pelo tráfego TCP e UDP para escolher a porta local. O intervalo é composto por dois números: a primeira porta local permitida para tráfego TCP e UDP no nó do agente e o último número da porta local.
net.ipv4.neigh.default.gc_thresh1 128 - 80000 4096 4096 4096 Número mínimo de entradas que podem estar no cache ARP. A coleta de lixo não será disparada se o número de entradas estiver abaixo dessa configuração.
net.ipv4.neigh.default.gc_thresh2 512 - 90000 8192 8192 8192 Número máximo flexível de entradas que podem estar no cache ARP. Essa configuração é, sem dúvida, a mais importante, pois a coleta de lixo ARP inicia cerca de 5 segundos depois de atingir esse limite flexível.
net.ipv4.neigh.default.gc_thresh3 1024 - 100000 16384 16384 16384 O número máximo inflexível de entradas no cache ARP.
net.netfilter.nf_conntrack_max 131072 - 2097152 Calculado dinamicamente Calculado dinamicamente Calculado dinamicamente nf_conntrack é um módulo que controla as entradas de conexão para NAT no Linux. O nf_conntrack módulo usa uma tabela de hash para registrar o registro de conexão estabelecido do protocolo TCP. nf_conntrack_max é o número máximo de nós na tabela de hash, ou seja, o número máximo de conexões com suporte no nf_conntrack módulo ou o tamanho da tabela de controle de conexão. O valor padrão é calculado dinamicamente com base na memória do sistema usando a fórmula: RAM_in_bytes / 16384 (ou RAM_in_MB * 64). Por exemplo, uma máquina virtual com 8 GB de RAM tem um padrão de aproximadamente 524.288 conexões. Os valores reais variam de acordo com o tamanho da máquina virtual e a memória disponível.
net.netfilter.nf_conntrack_buckets 65536 - 524288 Calculado dinamicamente Calculado dinamicamente Calculado dinamicamente nf_conntrack é um módulo que controla as entradas de conexão para NAT no Linux. O nf_conntrack módulo usa uma tabela de hash para registrar o registro de conexão estabelecido do protocolo TCP. nf_conntrack_buckets é o tamanho da tabela de hash. O valor padrão é calculado dinamicamente com base na memória do sistema usando a fórmula: RAM_in_bytes / 16384, com um mínimo de 1.024 buckets e um máximo de 262.144 buckets. O padrão nf_conntrack_max normalmente é definido como nf_conntrack_buckets * 4. Os valores reais variam de acordo com o tamanho da máquina virtual e a memória disponível.

Limites de trabalho do Linux

Como os limites do descritor de arquivo, o número de trabalhos ou threads que um processo pode criar são limitados por uma configuração de kernel e limites de usuário. O limite de usuários em AKS é ilimitado. A tabela a seguir lista a configuração do kernel que você pode personalizar por pool de nós:

Setting Padrão do Ubuntu 22.04 Padrão do Ubuntu 24.04 Padrão do Azure Linux 3.0 Description
kernel.threads-max Calculado dinamicamente Calculado dinamicamente Calculado dinamicamente Os processos podem criar threads de trabalho. O número máximo de todos os threads que podem ser criados é definido com a configuração do kernel kernel.threads-max. O valor padrão é calculado dinamicamente com base na memória do sistema usando a fórmula: total_ram_pages / 4 (em que cada página normalmente tem 4 KB). Os valores reais variam de acordo com o tamanho da máquina virtual e a memória disponível.

Memória virtual do Linux

A tabela a seguir lista as configurações de kernel que você pode personalizar por pool de nós para ajustar a operação do subsistema de memória virtual (VM) do kernel do Linux e os writeout dados sujos em disco:

Setting Os valores/intervalos permitidos Padrão do Ubuntu 22.04 Padrão do Ubuntu 24.04 Padrão do Azure Linux 3.0 Description
vm.max_map_count 65530 1048576 1048576 Esse arquivo contém o número máximo de áreas de mapa de memória que um processo pode ter. As áreas de mapa de memória são usadas como um efeito colateral de chamar malloc , diretamente por mmap, mprotect e madvise também ao carregar bibliotecas compartilhadas.
vm.vfs_cache_pressure 1 a 100 100 100 100 Esse valor de porcentagem controla a tendência do kernel de recuperar a memória, que é usada para armazenar em cache os objetos de diretório e inode.
vm.swappiness 0 - 100 60 60 60 Esse controle é usado para definir a agressividade com que o kernel troca páginas de memória. Valores mais altos aumentam a agressividade, os valores mais baixos diminuem a quantidade de troca. Um valor de 0 instrui o kernel a não iniciar a permuta até que a quantidade de páginas livres e com backup em arquivo seja menor que a marca d' água alta em uma zona.
swapFileSizeMB 1 MB - Tamanho temporário de disco (/dev/sdb) None None None SwapFileSizeMB especifica o tamanho em MB de um arquivo de troca a ser criado nos nós de agente deste pool de nós.
transparentHugePageEnabled always, madvise, never always always madvise Transparent Hugepages é um recurso de kernel do Linux destinado a melhorar o desempenho, fazendo uso mais eficiente do hardware de mapeamento de memória do processador. Quando habilitado, o kernel tenta alocar hugepages sempre que possível e qualquer processo do Linux recebe páginas de 2 MB se a região mmap estiver naturalmente alinhada em 2 MB. Quando hugepages estão habilitados para todo o sistema, os aplicativos podem acabar alocando mais recursos de memória. Um aplicativo pode mmap um grande espaço de memória, mas apenas acessar 1 byte dele; nesse caso, uma página de 2 MB pode ser alocada em vez de uma página de 4k sem motivo justificado. Esse cenário é o motivo pelo qual é possível desabilitar hugepages todo o sistema ou apenas tê-los dentro de MADV_HUGEPAGE madvise regiões.
transparentHugePageDefrag always, defer, defer+madvise, , madvisenever madvise madvise madvise Esse valor controla se o kernel deve fazer uso agressivo da compactação de memória para tornar mais hugepages disponível.