Поделиться через

Политики поддержки службы Azure Kubernetes

В этой статье описываются политики технической поддержки и ограничения для службы Azure Kubernetes (AKS). Он также содержит сведения об управлении узлами агента, компонентах управляющей плоскости, компонентах с открытым исходным кодом сторонних производителей и управлении безопасностью или исправлениями.

Обновления и выпуски сервиса

Управляемые функции в AKS

Базовые компоненты облачной инфраструктуры как услуги (IaaS), такие как вычислительные или сетевые компоненты, позволяют вам получать доступ к низкоуровневым элементам управления и параметрам настройки. В отличие от этого, AKS предоставляет готовое развертывание Kubernetes, которое предоставляет общий набор конфигураций и возможностей, необходимых для кластера. В качестве пользователя AKS у вас есть ограниченные параметры настройки и развертывания. В обмен вам не нужно беспокоиться о кластерах Kubernetes напрямую или управлять ими.

С помощью AKS вы получаете полностью управляемую плоскость управления. Плоскость управления содержит все компоненты и службы, необходимые для работы и доставки кластеров Kubernetes конечным пользователям. Корпорация Майкрософт поддерживает и управляет всеми компонентами Kubernetes.

Корпорация Майкрософт управляет и отслеживает следующие компоненты с помощью плоскости управления:

  • Серверы API Kubelet или Kubernetes
  • Etcd или совместимое хранилище key-value, предоставляющее качество обслуживания (QoS), масштабируемость и среду выполнения
  • Службы DNS (например, kube-dns или CoreDNS)
  • Прокси-сервер Kubernetes или сеть, за исключением случаев, когда используется BYOCNI
  • Любые другие дополнения или системные компоненты, работающие в пространстве имен kube-system.

AKS не является решением "Платформа как услуга" (PaaS). Некоторые компоненты, такие как узлы агента, несут общую ответственность, где необходимо поддерживать кластер AKS. Для применения исправления безопасности операционной системы агентного узла (ОС) требуется ввод данных пользователем.

Службы управляются в том смысле, что корпорация Майкрософт и команда AKS развертывают, работают и отвечают за доступность и функциональные возможности служб. Клиенты не могут изменять эти управляемые компоненты. Корпорация Майкрософт ограничивает возможности настройки, обеспечивая согласованное и масштабируемое взаимодействие с пользователями.

Shared responsibility

При создании кластера вы определяете узлы агента Kubernetes, создаваемые AKS. На этих узлах выполняются клиентские рабочие нагрузки.

Так как узлы агента выполняют частный код и хранят конфиденциальные данные, служба поддержки Майкрософт может получить к ним доступ только в ограниченном порядке. Служба поддержки Майкрософт не может войти в систему, выполнять команды или просматривать журналы для этих узлов без вашего явного разрешения или помощи.

Любые изменения, внесенные непосредственно на узлы агента с помощью любого из API для IaaS, делают кластер неподдерживаемым. Любое изменение, примененное к узлам агента, необходимо выполнить с помощью собственных механизмов kubernetes, таких как Daemon Sets.

Аналогичным образом, хотя можно добавить любые метаданные в кластер и узлы, такие как теги и метки, изменение любых метаданных, созданных системой, делает кластер неподдерживаемым.

Покрытие поддержки AKS

Supported scenarios

Корпорация Майкрософт предоставляет техническую поддержку для следующих примеров:

  • Подключение ко всем компонентам Kubernetes, предоставляемым и поддерживаемым службой Kubernetes, таким как сервер API.
  • Управление, время работы, QoS и операции служб уровня управления Kubernetes (например, плоскость управления Kubernetes, сервер API и т. д. и coreDNS).
  • Хранилище данных Etcd. Поддержка включает автоматизированные, прозрачные резервные копии всех данных etcd каждые 30 минут для планирования на случай аварий и восстановления кластера. Эти резервные копии недоступны напрямую для вас или других пользователей. Они обеспечивают надежность и согласованность данных. Откат по запросу или восстановление не поддерживается как функция.
  • Все точки интеграции в драйвере поставщика облачных служб Azure для Kubernetes. К ним относятся интеграции с другими службами Azure, такими как подсистемы балансировки нагрузки, постоянные тома или сети (Kubernetes и Azure CNI, за исключением случаев использования BYOCNI ).
  • Вопросы или проблемы, касающиеся настройки компонентов уровня управления, таких как сервер API Kubernetes, etcd и coreDNS.
  • Проблемы с сетями, такими как Azure CNI, kubenet или другие проблемы с доступом к сети и функциональными возможностями, за исключением случаев использования BYOCNI . Проблемы могут включать разрешение DNS, потерю пакетов, маршрутизацию и т. д. Корпорация Майкрософт поддерживает различные сетевые сценарии:
    • Kubenet и Azure CNI с управляемыми виртуальными сетями или с использованием собственных подсетей (bring your own).
    • Подключение к другим службам и приложениям Azure
    • Управляемые корпорацией Майкрософт контроллеры входящего трафика или конфигурации подсистемы балансировки нагрузки
    • Производительность сети и задержка
    • Компоненты и функциональные возможности сетевых политик, управляемые корпорацией Майкрософт

Note

Все действия кластера, выполняемые Корпорацией Майкрософт или AKS, выполняются с вашим согласием в соответствии со встроенной ролью aks-service Kubernetes и встроенной привязкой aks-service-rolebindingролей. Эта роль позволяет AKS устранять неполадки в работе кластера и диагностировать их, но она не может изменять разрешения и создавать роли или привязки ролей, а также осуществлять другие действия с высоким уровнем привилегий. Доступ к роли доступен только в рамках активных заявок в службу поддержки при условиях доступа по требованию (JIT).

Unsupported scenarios

Корпорация Майкрософт не предоставляет техническую поддержку для следующих сценариев:

  • Вопросы об использовании Kubernetes. Например, служба поддержки Майкрософт не предоставляет рекомендации по созданию пользовательских контроллеров входящего трафика, использованию рабочих нагрузок приложений или применению сторонних пакетов программного обеспечения или средств с открытым исходным кодом.

    Note

    Служба поддержки Майкрософт может консультировать по функциональности кластера AKS, его настройке и оптимизации (например, вопросы и процедуры работы с Kubernetes).

  • Сторонние проекты с открытым кодом, которые не являются частью контрольной плоскости Kubernetes или не развертываются вместе с кластерами AKS. Эти проекты могут включать Istio, Helm, Envoy или другие.

    Note

    Корпорация Майкрософт может предоставить оптимальную поддержку для сторонних проектов с открытым кодом, таких как Helm. Когда сторонние инструменты с открытым исходным кодом интегрируются с облачным провайдером Azure Kubernetes или возникают ошибки, специфичные для AKS, корпорация Майкрософт поддерживает примеры и приложения из документации Microsoft.

  • Стороннее программное обеспечение с закрытым кодом. Это программное обеспечение может включать средства проверки безопасности и сетевые устройства или программное обеспечение.

  • Настройка или устранение неполадок, связанных с кодом приложения или поведением сторонних приложений или инструментов, работающих в кластере AKS. Это включает проблемы с развертыванием приложений, не связанные с самой платформой AKS.

  • Выдача, продление или управление сертификатами для приложений, работающих в AKS.

  • Настройки сети, отличные от перечисленных в документации AKS. Например, служба поддержки Майкрософт не может настроить устройства или виртуальные устройства, предназначенные для предоставления исходящего трафика для кластера AKS, например виртуальных сетей или брандмауэров.

    Note

    В рамках возможного служба поддержки Майкрософт может дать рекомендации по необходимой конфигурации для брандмауэра Azure, но не для других сторонних устройств.

  • Пользовательские или сторонние CNI плагины, используемые в режиме BYOCNI.

  • Настройка или устранение неполадок, не являющихся политиками сети, управляемыми корпорацией Майкрософт. Хотя использование политик сети поддерживается, служба поддержки Майкрософт не может исследовать проблемы, связанные с конфигурациями настраиваемой политики сети.

  • Настройка или устранение неполадок контроллеров входящего трафика, не управляемых корпорацией Майкрософт, таких как nginx, kong, traefik и т. д. Это включает в себя устранение проблем с функциональностью, возникающих после операций, связанных с AKS, например, когда контроллер входящего трафика перестает работать после обновления версии Kubernetes. Такие проблемы могут возникать из-за несовместимости между версией контроллера входящего трафика и новой версией Kubernetes. Для полностью поддерживаемого варианта рекомендуется использовать параметр контроллера входящего трафика, управляемого корпорацией Майкрософт.

  • Настройка или устранение неполадок daemonSets (включая скрипты), используемые для настройки конфигураций узлов. Хотя рекомендуется использовать DaemonSets для настройки, изменения или установки стороннего программного обеспечения на узлах агента кластера, если параметры файла конфигурации недостаточны, служба поддержки Майкрософт не может устранять проблемы, возникающие из-за кастомизированных скриптов, используемых в DaemonSets, ввиду их уникального характера.

  • Автономные и упреждающие сценарии. Служба поддержки Майкрософт предоставляет реактивную поддержку для решения активных проблем своевременно и профессионально. Однако резервная или упреждающая поддержка для устранения операционных рисков, повышения доступности и оптимизации производительности не рассматриваются. Соответствующие клиенты могут связаться со своей командой менеджеров аккаунта, чтобы быть номинированными для службы управления событиями Azure. Это платная служба, предоставляемая инженерами поддержки Майкрософт, которая включает упреждающую оценку рисков решения и охват во время мероприятия.

  • Уязвимости / CVEs с обновлением поставщика, выпущенным в последние 30 дней. Пока вы используете обновленный виртуальный жесткий диск, вам не следует запускать уязвимости образа контейнера / CVEs с исправлением поставщика, которое превышает 30 дней. Клиент несет ответственность за обновление виртуального жесткого диска и предоставление отфильтрованных списков в службу поддержки Майкрософт. После обновления виртуального жесткого диска клиент несет ответственность за фильтрацию отчета об уязвимостях и CVEs и предоставление списка только с теми уязвимостями и CVEs, для которых исправление поставщика доступно более 30 дней. Если это произойдет, служба поддержки Microsoft приложит усилия для внутренней координации и решения проблем с компонентами, для которых исправление от поставщика было выпущено более 30 дней назад. Кроме того, корпорация Майкрософт предоставляет поддержку уязвимостей и CVE только для управляемых Корпорацией Майкрософт компонентов (например, образов узлов AKS, управляемых образов контейнеров для приложений, которые развертываются во время создания кластера или с помощью установки управляемой надстройки). Дополнительные сведения об управлении уязвимостями для AKS см. на этой странице.

  • Пользовательские примеры кода или скрипты. Хотя служба поддержки Майкрософт может предоставлять небольшие примеры кода и проверки небольших примеров кода в случае поддержки, чтобы продемонстрировать, как использовать функции продукта Майкрософт, служба поддержки Майкрософт не может предоставлять пользовательские примеры кода, относящиеся к вашей среде или приложению.

Поддержка AKS для узлов агента

Ответственности Microsoft по узлам агента AKS

Корпорация Майкрософт и вы несете ответственность за узлы агента Kubernetes, где:

  • Базовый образ ОС имеет необходимые дополнения (например, мониторинг и сетевые агенты).
  • Исправления ОС устанавливаются на узлы агента автоматически.
  • Проблемы с компонентами уровня управления Kubernetes, которые выполняются на узлах агента, автоматически устраняются. К этим компонентам относятся следующие компоненты:
    • Kube-proxy
    • Сетевые туннели, предоставляющие пути связи к главным компонентам Kubernetes
    • Kubelet
    • containerd

Note

Если узел агента не работает, AKS может перезапустить отдельные компоненты или весь узел агента. Эти операции перезапуска автоматизированы и обеспечивают автоматическое исправление распространенных проблем. Дополнительные сведения о механизмах автоматического исправления см. в разделе "Автоматическое восстановление узла"

Обязанности клиента для узлов агента AKS

Корпорация Майкрософт предоставляет исправления и новые образы для узлов образов еженедельно. Чтобы обеспечить актуальность компонентов ОС узла агента и среды выполнения, следует регулярно применять эти исправления и обновления вручную или автоматически. Дополнительные сведения можно найти здесь

Аналогичным образом AKS регулярно выпускает новые исправления Kubernetes и дополнительные версии. Это относится к обновлениям, которые содержат улучшения системы безопасности или функциональности Kubernetes. Вы несете ответственность за обновление версии Kubernetes кластера и в соответствии с политикой версий поддержки AKS Kubernetes.

Пользовательская настройка узлов агента

Note

Узлы агента AKS отображаются на портале Azure как стандартные ресурсы Azure IaaS. Однако эти виртуальные машины развертываются в пользовательскую группу ресурсов Azure с префиксом MC_*. Вы не можете изменить базовый образ ОС или внести прямые настройки на эти узлы с помощью API или ресурсов IaaS. Любые изменения или настройки, не выполненные через AKS API, не сохранятся после обновления, масштабирования и перезагрузки. Кроме того, любое изменение расширений узлов, таких как CustomScriptExtension , может привести к неожиданному поведению и должно быть запрещено. Избегайте внесения изменений в узлы агента, если только служба поддержки Майкрософт не даст вам указание это сделать.

AKS управляет жизненным циклом и операциями узлов-агентов от лица пользователя, и изменение ресурсов IaaS, связанных с узлами-агентами, не поддерживается. Пример неподдерживаемой операции — изменение параметров масштабируемого набора виртуальных машин в пуле узлов путем ручного изменения конфигураций на портале Azure или из API.

Для конфигураций или пакетов, относящихся к рабочей нагрузке, AKS рекомендует использовать Kubernetes daemon sets.

Использование привилегированных и инициализирующих контейнеров Kubernetes позволяет настраивать, изменять или устанавливать стороннее программное обеспечение на агентных узлах кластера. Примеры таких настроек включают добавление пользовательского программного обеспечения проверки безопасности или обновление параметров sysctl.

Хотя этот путь рекомендуется, если применяются указанные выше требования, инженерная служба и поддержка AKS не могут помочь в устранении неполадок или диагностике изменений, которые делают узел недоступным из-за развернутого вами daemon set.

Проблемы с безопасностью и установка исправлений

Если ошибка безопасности обнаружена в одном или нескольких управляемых компонентах AKS, команда AKS исправляет все затронутые кластеры, чтобы устранить проблему. Кроме того, команда AKS предоставляет рекомендации по обновлению.

Для узлов агента, затронутых уязвимостью, Microsoft уведомляет вас о влиянии и действиях по устранению или смягчению проблемы безопасности.

Обслуживание узлов и доступ к ним

Хотя вы можете войти в узлы агента и изменить их, это не рекомендуется, так как изменения могут сделать кластер неподдерживаемым.

Сетевые порты, доступ и группы сетевой безопасности

Вы можете настроить NSG только в пользовательских подсетях. Вы, возможно, не сможете настроить группы безопасности сети на управляемых подсетях или на уровне сетевых адаптеров узлов агентов. AKS имеет требования исходящего трафика к конкретным конечным точкам, для управления исходящим трафиком и обеспечения необходимого подключения, см. ограничение исходящего трафика. Требования для входа зависят от приложений, которые вы развернули в кластере.

Остановленные, выделенные и неготовые узлы

Если рабочие нагрузки AKS не должны выполняться постоянно, можно остановить кластер AKS, что остановит все узлы и плоскость управления. При необходимости его можно запустить снова. При остановке кластера с помощью az aks stop команды состояние кластера сохраняется до 12 месяцев. Через 12 месяцев состояние кластера и все его ресурсы удаляются.

Ручная деаллокация всех узлов кластера через API IaaS, Azure CLI или портал Azure не поддерживается для остановки кластера AKS или пула узлов. Кластер будет считаться неподдерживаемым и остановлен службой AKS через 30 дней. Затем кластеры подвергаются той же 12-месячной политике сохранения, что и правильно остановленный кластер.

Кластеры с нулевыми узлами Готовые (или всеми Не готовы) и нулевыми Запущенными виртуальными машинами будут отключены через 30 дней.

AKS резервирует право архивировать плоскости управления, которые были настроены с нарушением рекомендаций по поддержке в течение длительных периодов, равных и более 30 дней. AKS поддерживает резервные копии метаданных кластера и т. д., и может легко перераспределить кластер. Это перераспределение инициируется любой операцией PUT, которая возвращает кластер в состояние поддержки, например, обновлением или масштабированием до активных узлов агента.

Все кластеры в приостановленной подписке будут остановлены немедленно и удалены через 90 дней. Все кластеры в удаленной подписке будут удалены немедленно.

Неподдерживаемые функции альфа-и бета-версии Kubernetes

AKS поддерживает только стабильные и бета-версии функции в вышестоящем проекте Kubernetes. Если иное не описано, AKS не поддерживает какие-либо альфа-функции, доступные в вышестоящем проекте Kubernetes.

Предварительные версии функций или флаги функций

Для функций и функций, требующих расширенного тестирования и отзывов пользователей, корпорация Майкрософт выпускает новые предварительные версии функций или функций за флагом функции. Считайте эти функции предварительными или функциями бета-версии.

Функции предварительной версии или функции с флагами не предназначены для производственной среды. Регулярные изменения интерфейсов API и поведения компонентов, исправления ошибок и другие изменения могут привести к нестабильной работе и простоям кластеров.

Функции в общедоступной предварительной версии подпадают под поддержку наилучших усилий, так как эти функции находятся в предварительном просмотре и не предназначены для производственной среды. Группы технической поддержки AKS предоставляют поддержку только в рабочие часы. Дополнительные сведения см. в статье "Часто задаваемые вопросы о поддержке Azure".

Ошибки и проблемы на ранних этапах разработки

Учитывая скорость разработки в вышестоящем проекте Kubernetes, ошибки неизбежны. Некоторые из этих ошибок не могут быть исправлены или обойдены в системе AKS. Вместо этого для исправления ошибок требуются более значительные исправления для вышестоящего проекта (такие как Kubernetes, операционные системы узлов или агентов, а также ядро). Для компонентов, принадлежащих Корпорации Майкрософт (например, поставщику облачных служб Azure), AKS и персонал Azure привержены устранению проблем в сообществе.

Если первопричина проблемы технической поддержки возникает из-за одной или нескольких вышестоящих ошибок, служба поддержки AKS и инженерные команды будут:

  • Выявят и сопоставят вышестоящие ошибки с любыми дополнительными сведениями, которые помогут объяснить, почему эта проблема влияет на кластер или рабочую нагрузку. Клиенты получат ссылки на необходимые репозитории, чтобы они могли просмотреть проблемы и узнать, когда в новом выпуске будут предоставлены исправления.

  • Предоставьте возможные обходные пути или меры по снижению. Если проблема может быть устранена, известная проблема будет представлена в репозитории AKS. В документе об известных проблемах объясняется:

    • суть проблемы, включая ссылки на вышестоящее ошибки;
    • Обходное решение и сведения об обновлении или другой сохраняемости решения.
    • приблизительные сроки включения проблемы в соответствии с графиком выпуска вышестоящего проекта.
  • Last updated on