Параметры конфигурации пользовательского узла для Azure Kubernetes Service (AKS)

В этой статье перечислены поддерживаемые параметры конфигурации пользовательских узлов для пулов узлов Azure Kubernetes Service (AKS). Сведения о создании и применении файлов конфигурации см. в статье "Настройка конфигурации узла для пулов узлов AKS".

Параметры настраиваемой конфигурации Kubelet

Important

Если включить небезопасные sysctl, вы несете ответственность за стабильность узла и поведение рабочих нагрузок. Небезопасные sysctl параметры могут потенциально вызвать нестабильность узла или потенциальные уязвимости безопасности, если они неправильно настроены. Убедитесь, что вы понимаете последствия включения определенных небезопасных sysctl параметров и внимательно следите за состоянием кластера после внесения изменений.

Note

Параметры kubeReservedsoftEvictionGracePeriodhardEvictionThresholdsoftEvictionThresholdи evictionMaxPodGracePeriodInSeconds параметры входят в предварительную версию предварительной версии узла AKS и применяются только к пулам узлов Linux. CustomNodeConfigPreview Зарегистрируйте флаг компонента перед использованием этих параметров. Сведения о включении защиты узлов см. в статье " Обеспечение жесткого обеспечения узлов" (предварительная версия) в AKS.

Для каждого сигнала вытеснения задайте softEvictionThreshold значения и соответствующие softEvictionGracePeriod значения. Вы можете опустить оба значения, чтобы использовать значения по умолчанию или задать оба значения пустыми строками, чтобы отказаться от обратимого вытеснения для этого сигнала. Если вы указываете порог обратимого вытеснения, оно должно быть больше, чем эффективное пороговое значение вытеснения жесткого вытеснения для того же сигнала.

Настраиваемая конфигурация kubelet для Linux

Parameter Допустимые значения или интервал По умолчанию Description
cpuManagerPolicy нет, статический нет Статическая политика позволяет контейнерам в гарантированных модулях с целочисленными запросами ЦП получить доступ к эксклюзивным ЦП на узле.
cpuCfsQuota истина, ложь true Включение и отключение применения квот ЦП CFS для контейнеров, определяющих ограничения ЦП.
cpuCfsQuotaPeriod Интервал в миллисекундах (мс) 100ms Задает значение периода квоты CFS для центрального процессора.
imageGcHighThreshold 0–100 85 Процент использования дискового пространства, после достижения которого всегда выполняется очистка ненужных данных образов. Минимальное использование диска, которое активирует сборку мусора. Для отключения автоматического удаления изображений установите 100.
imageGcLowThreshold 0–100, не больше imageGcHighThreshold 80 Процент дискового пространства, до достижения которого сборка ненужных образов никогда не выполняется. Минимальное заполнение диска, которое может активировать сборку мусора.
topologyManagerPolicy отсутствует, прилагается максимум усилий, ограниченный, один узел NUMA нет Оптимизация согласования узлов NUMA. Дополнительные сведения см. в разделе "Политики управления топологией" на узле.
allowedUnsafeSysctls kernel.shm*, , kernel.msg*kernel.sem, fs.mqueue.*net.* Нет Разрешенный список ненадежных sysctls или ненадежных шаблонов sysctls.
containerLogMaxSizeMB Размер в мегабайтах (МБ) 50 Максимальный размер (например, 10 МБ) файла журнала контейнера перед ротацией.
containerLogMaxFiles 2 или больше 5 Максимальное количество файлов журнала контейнеров для хранения контейнера.
podMaxPids — от -1 до предела PID ядра -1 (бесконечно) Максимальное количество идентификаторов процессов, которые могут выполняться в модуле pod.
seccompDefault Unconfined, RuntimeDefault Unconfined Задает профиль seccomp по умолчанию для всех рабочих нагрузок. RuntimeDefault использует профиль seccomp по умолчанию контейнера, ограничивающий определенные системные вызовы для повышения безопасности. Сбой в работе ограниченных системных вызовов. Unconfined не устанавливает ограничений на системные вызовы, разрешая все системные вызовы и снижая безопасность. Дополнительные сведения см. в профиле seccomp по умолчанию для контейнеров. Этот параметр находится в предварительной версии. Зарегистрируйте флаг компонента KubeletDefaultSeccompProfilePreview с помощью az feature register команды --namespace "Microsoft.ContainerService".
kubeReserved.cpuMillicores 140 к емкости ЦП пула узлов в милликорях Вычисляемые AKS на основе размера виртуальной машины Резервирует ЦП для системных управляющих программ Kubernetes.
kubeReserved.memoryMB 750 к емкости памяти пула узлов в MiB AKS вычисляется из памяти узла и максимальных модулей pod на узел: min(20 × maxPods + 50, 25% of node memory) MiB. При использовании защиты узлов: min(35 × maxPods + max(250, 2% of node memory), 25% of node memory) MiB Резервирует память для системных daemons kubernetes.
hardEvictionThreshold.memoryAvailable <number>Ki, <number>Miили с минимальным 100Miчислом ; или <number>Gi2% для100% 100Mi. При использовании защиты узлов: 250Mi для узлов с 8 ГиБ памяти или меньше, 375Mi для узлов с более чем 8 ГиБ и менее 32 ГиБ, а 512Mi также для узлов с 32 ГиБ или более Задает порог жесткого вытеснения для доступной памяти.
hardEvictionThreshold.nodeFsAvailable <number>Ki, , <number>Mi<number>Giили 10%100% 10% Задает порог жесткого вытеснения для доступного пространства файловой системы узла.
hardEvictionThreshold.nodeFsInodesFree <number> или 5% на 100% 5% Задает порог жесткого вытеснения для свободных файловых систем узлов.
softEvictionThreshold.memoryAvailable Пустая строка; <number>Ki, <number>Miили с минимальным 100Miчислом ; или <number>Gi2% для100% None. При использовании защиты узлов: 500Mi для узлов с 8 ГиБ памяти или меньше, 750Mi для узлов с более чем 8 ГиБ и менее 32 ГиБ, а 1Gi также для узлов с 32 ГиБ или более Задает порог обратимого вытеснения доступной памяти. Значение должно быть больше действующего hardEvictionThreshold.memoryAvailable значения.
softEvictionThreshold.nodeFsAvailable Пустая строка; <number>Ki, , <number>Gi<number>Miили 10%100% 12% при включении защиты узла; Нет в противном случае Задает порог обратимого вытеснения для доступного пространства файловой системы узла. Значение должно быть больше действующего hardEvictionThreshold.nodeFsAvailable значения.
softEvictionThreshold.nodeFsInodesFree Пустая строка; <number> или 5% на 100% 7% при включении защиты узла; Нет в противном случае Задает порог обратимого вытеснения для свободных файловых систем узла. Значение должно быть больше действующего hardEvictionThreshold.nodeFsInodesFree значения.
softEvictionGracePeriod.memoryAvailable Пустая строка или длительность стиля Go по крайней мере используется , , , mmssили usns30sh 30s при включении защиты узла; Нет в противном случае Задает, сколько времени memoryAvailable необходимо пересечь порог обратимого вытеснения перед вытеснениями модулей pod kubelet.
softEvictionGracePeriod.nodeFsAvailable Пустая строка или длительность стиля Go по крайней мере используется , , , mmssили usns30sh 2m при включении защиты узла; Нет в противном случае Задает, сколько времени nodeFsAvailable необходимо пересечь порог обратимого вытеснения перед вытеснениями модулей pod kubelet.
softEvictionGracePeriod.nodeFsInodesFree Пустая строка или длительность стиля Go по крайней мере используется , , , mmssили usns30sh 2m при включении защиты узла; Нет в противном случае Задает, сколько времени nodeFsInodesFree необходимо пересечь порог обратимого вытеснения перед вытеснениями модулей pod kubelet.
evictionMaxPodGracePeriodInSeconds 0 или больше 60 при включении защиты узлов; 0 В противном случае Задает максимальное количество секунд, которое kubelet позволяет модулям pod завершаться во время обратимого вытеснения.

Конфигурация Windows kubelet по умолчанию

Parameter Допустимые значения или интервал По умолчанию Description
imageGcHighThreshold 0–100 85 Процент использования дискового пространства, после достижения которого всегда выполняется очистка ненужных данных образов. Минимальное использование диска, которое активирует сборку мусора. Для отключения автоматического удаления изображений установите 100.
imageGcLowThreshold 0–100, не больше imageGcHighThreshold 80 Процент дискового пространства, до достижения которого сборка ненужных образов никогда не выполняется. Минимальное заполнение диска, которое может активировать сборку мусора.
containerLogMaxSizeMB Размер в мегабайтах (МБ) 10 Максимальный размер (например, 10 МБ) файла журнала контейнера перед ротацией.
containerLogMaxFiles 2 или больше 5 Максимальное количество файлов журнала контейнеров для хранения контейнера.

Параметры конфигурации пользовательской ОС Linux

Important

Чтобы упростить поиск и удобочитаемость, параметры ОС отображаются в этой статье по их имени, но их следует добавить в JSON-файл конфигурации или API AKS с помощью соглашения о написании в формате camelCase.

Например, если изменить vm.max_map_count параметр, необходимо переформатировать его vmMaxMapCount в JSON-файл конфигурации.

Ограничения дескриптора файлов Linux

При обслуживании большого количества трафика этот трафик обычно поступает из большого количества локальных файлов. Вы можете настроить следующие параметры ядра и встроенные ограничения, чтобы обрабатывать больше задач, за счёт некоторого объёма системной памяти.

В следующей таблице перечислены ограничения дескриптора файлов, которые можно настроить для каждого пула узлов:

Setting Допустимые значения или интервал По умолчанию Ubuntu 22.04 По умолчанию Ubuntu 24.04 Azure Linux 3.0 по умолчанию Description
fs.file-max 8192 - 9223372036854775807 9223372036854775807 9223372036854775807 9223372036854775807 Максимальное количество файловых дескрипторов, которые выделяет ядро Linux. Это значение имеет максимально возможное значение (2^63-1), чтобы предотвратить исчерпание дескриптора файлов и обеспечить неограниченные системные дескрипторы файлов для контейнерных рабочих нагрузок.
fs.inotify.max_user_watches 781250–2097152 1048576 1048576 1048576 Максимальное количество наблюдений за файлами, разрешенное системой. Каждое контрольное значение занимает примерно 90 байт на 32-разрядном ядре и примерно 160 байт на 64-разрядном ядре.
fs.aio-max-nr 65536–6553500 65536 65536 65536 В aio-nr отображается текущее системное число асинхронных запросов ввода-вывода. Значение aio-max-nr определяет максимальное значение, до которого может увеличиться aio-nr.
fs.nr_open 8192–20000500 1048576 1048576 1073741816 Максимальное число дескрипторов файлов, которые может выделить процесс.

Note

Параметр fs.file-max имеет значение 9223372036854775807 (максимальное значение для подписанного 64-разрядного целого числа) в Ubuntu и Azure Linux на основе вышестоящих значений по умолчанию. Эта конфигурация:

  • Предотвращает атаки типа "отказ в обслуживании ", основанные на исчерпании дескрипторов на уровне системы.
  • Гарантирует, что рабочие нагрузки контейнеров никогда не перегружены ограничениями на количество дескрипторов файлов на уровне системы.
  • Обеспечивает безопасность с помощью ограничений для каждого процесса (fs.nr_open и ulimit), которые по-прежнему применяются к отдельным процессам.
  • Оптимизирует платформы контейнеров , где одновременно может выполняться множество контейнеров, каждый из которых может открывать множество файлов и сетевых подключений.

Настройка сокета Linux и сети

Для узлов агента, которые, как ожидается, обрабатывают большое количество одновременных сеансов, можно использовать следующие параметры TCP и сети и настроить их на пул узлов:

Setting Допустимые значения или интервал По умолчанию Ubuntu 22.04 По умолчанию Ubuntu 24.04 Azure Linux 3.0 по умолчанию Description
net.core.somaxconn 4096–3240000 16384 16384 16384 Максимальное количество запросов на подключение, которые могут быть поставлены в очередь для любого заданного слушающего сокета. Верхний предел значения параметра невыполненной работы, передаваемого в функцию listen(2). Если аргумент невыполненной работы больше somaxconn, то он усекается до этого предела без уведомления.
net.core.netdev_max_backlog 1000–3240000 1000 1000 1000 Максимальное количество пакетов, поставленных в очередь на стороне ввода, когда интерфейс получает пакеты быстрее, чем ядро может их обработать.
net.core.rmem_max 212992–134217728 1048576 1048576 212992 Максимальный размер буфера сокета приема в байтах.
net.core.wmem_max 212992–134217728 212992 212992 212992 Максимальный размер буфера сокета отправки в байтах.
net.core.optmem_max 20480–4194304 20480 131072 20480 Максимальный размер вспомогательного буфера (буфера памяти параметров) для каждого сокета. Память параметров сокета используется в некоторых случаях для хранения дополнительных структур, относящихся к использованию сокета.
net.ipv4.tcp_max_syn_backlog 128–3240000 16384 16384 16384 Максимальное количество запросов на подключение в очереди, которые не получили подтверждение от подключающегося клиента. Если это число превышено, ядро начинает удаление запросов.
net.ipv4.tcp_max_tw_buckets 8000–1440000 262144 262144 131072 Максимальное количество TIME-WAIT сокетов, удерживаемых системой одновременно. Если это число превышено, сокет TIME-WAIT немедленно уничтожается и выводится предупреждающее сообщение.
net.ipv4.tcp_fin_timeout 5–120 60 60 60 Время, в течение которого осиротевшее соединение (более не используемое ни одним приложением) остается в состоянии FIN_WAIT_2, прежде чем оно будет прервано на локальной стороне.
net.ipv4.tcp_keepalive_time 30–432000 7200 7200 7200 Частота отправки сообщений keepalive протоколом TCP, если включена функция keepalive.
net.ipv4.tcp_keepalive_probes 1–15 9 9 9 Число проб keepalive, отправляемых протоколом TCP, пока он не определит, что подключение разорвано.
net.ipv4.tcp_keepalive_intvl 10 - 90 75 75 75 Частота отправки проб. Если умножить это значение на tcp_keepalive_probes, получится время завершения подключения, которое не отвечает, после запуска проб.
net.ipv4.tcp_tw_reuse 2 2 2 Разрешает повторное использование TIME-WAIT сокетов для новых подключений, когда оно безопасно с точки зрения протокола.
net.ipv4.ip_local_port_range Первое: 1024 - 60999 и Последний: 32768 - 65535] Первый: 32768, последний: 60999 Первый: 32768, последний: 60999 Первый: 32768, последний: 60999 Диапазон локальных портов, используемых для выбора локального порта при передаче трафика TCP и UDP. Диапазон состоит из двух чисел: первый локальный порт, разрешенный для трафика TCP и UDP на узле агента, а также последний номер локального порта.
net.ipv4.neigh.default.gc_thresh1 128–80000 4096 4096 4096 Минимальное количество записей, которые могут находиться в кэше ARP. Сборка мусора не активируется, если количество записей ниже этого параметра.
net.ipv4.neigh.default.gc_thresh2 512–90000 8192 8192 8192 Максимальное мягкое количество записей, которые могут находиться в ARP кэше. Этот параметр, возможно, является наиболее важным, так как сборка мусора ARP инициируется примерно через 5 секунд после достижения этого мягкого предела.
net.ipv4.neigh.default.gc_thresh3 1024–100000 16384 16384 16384 Строгое максимальное количество записей в кэше ARP.
net.netfilter.nf_conntrack_max 131072 - 2097152 Динамическое вычисление Динамическое вычисление Динамическое вычисление nf_conntrack — это модуль, отслеживающий записи подключения для NAT в Linux. Модуль nf_conntrack использует хэш-таблицу для сохранения записи установленного подключения протокола TCP. nf_conntrack_max — максимальное количество узлов в хэш-таблице, то есть максимальное число подключений, поддерживаемое модулем nf_conntrack, или размер таблицы отслеживания подключений. Значение по умолчанию динамически вычисляется на основе системной памяти с помощью формулы: RAM_in_bytes / 16384 (или RAM_in_MB * 64). Например, виртуальная машина с 8 ГБ ОЗУ по умолчанию имеет приблизительно 524 288 подключений. Фактические значения зависят от размера виртуальной машины и доступной памяти.
net.netfilter.nf_conntrack_buckets 65536 - 524288 Динамическое вычисление Динамическое вычисление Динамическое вычисление nf_conntrack — это модуль, отслеживающий записи подключения для NAT в Linux. Модуль nf_conntrack использует хэш-таблицу для сохранения записи установленного подключения протокола TCP. nf_conntrack_buckets — размер хэш-таблицы. Значение по умолчанию динамически вычисляется на основе системной памяти с помощью формулы: RAM_in_bytes / 16384с не менее чем 1024 контейнерами и максимум 262 144 контейнерами. По умолчанию nf_conntrack_max обычно установлено на nf_conntrack_buckets * 4. Фактические значения зависят от размера виртуальной машины и доступной памяти.

Ограничения рабочей роли Linux

Как и в случае с пределами дескрипторов файлов, количество рабочих процессов или потоков, которые может создать процесс, ограничено параметром ядра и предельным числом пользователей. Предельное число пользователей в AKS не ограничено. В следующей таблице перечислены параметры ядра, которые можно настроить для каждого пула узлов:

Setting По умолчанию Ubuntu 22.04 По умолчанию Ubuntu 24.04 Azure Linux 3.0 по умолчанию Description
kernel.threads-max Динамическое вычисление Динамическое вычисление Динамическое вычисление Процессы могут запускать рабочие потоки. Максимальное число создаваемых потоков задается параметром ядра kernel.threads-max. Значение по умолчанию вычисляется динамически на основе системной памяти с помощью формулы( total_ram_pages / 4 где каждая страница обычно составляет 4 КБ). Фактические значения зависят от размера виртуальной машины и доступной памяти.

Виртуальная память Linux

В следующей таблице перечислены параметры ядра, которые можно настроить для каждого пула узлов, чтобы оптимизировать работу подсистемы виртуальной памяти (VM) ядра Linux и writeout переноса грязных данных на диск:

Setting Допустимые значения или интервал По умолчанию Ubuntu 22.04 По умолчанию Ubuntu 24.04 Azure Linux 3.0 по умолчанию Description
vm.max_map_count 65530 1048576 1048576 Этот файл содержит максимальное количество областей карты памяти, которые может иметь процесс. Области таблицы распределения памяти используются как следствие вызова malloc непосредственно функциями mmap, mprotect и madvise, а также при загрузке общих библиотек.
vm.vfs_cache_pressure 1 - 100 100 100 100 Это процентное значение управляет тенденцией освобождения ядром памяти, которая используется для кэширования объектов directory и inode.
vm.swappiness 0–100 60 60 60 Этот элемент управления используется для определения того, насколько агрессивно ядро переключает страницы памяти. Более высокие значения повышают агрессивность, более низкие значения уменьшают объем обмена. Значение 0 указывает ядру не начинать своп, пока количество свободных и сохраненных в файл страниц не будет меньше порога в зоне.
swapFileSizeMB 1 МБ — размер временного диска (/dev/sdb) Нет Нет Нет SwapFileSizeMB указывает размер в МБ файла буфера, который необходимо создать на узлах агента из этого пула узлов.
transparentHugePageEnabled always, madvise, never always always madvise Прозрачные огромные страницы — это функция ядра Linux, предназначенная для повышения производительности благодаря более эффективному использованию аппаратного обеспечения для сопоставления памяти вашего процессора. Если включено, ядро пытается выделить hugepages всякий раз, когда возможно, и любой процесс Linux получает страницы размером 2 МБ, если регион размером 2 МБ имеет естественное выравнивание. В некоторых случаях, когда hugepages включены по всей системе, приложения могут в конечном итоге выделять больше ресурсов памяти. Приложение может mmap выделять большой регион, но использовать только 1 байт из него; в таком случае страница размером 2 МБ может быть выделена вместо страницы размером 4 КБ без серьезной необходимости. В этом сценарии можно отключить функцию hugepages для всей системы или использовать ее только в регионах MADV_HUGEPAGE madvise.
transparentHugePageDefrag always, , deferdefer+madvise, madvisenever madvise madvise madvise Это значение определяет, должно ли ядро агрессивно применять сжатие памяти для повышения доступности hugepages.