Оркестрация обновлений в нескольких кластерах с помощью Azure Kubernetes Fleet Manager

Администраторы платформы, управляющие парками Kubernetes с большим количеством кластеров, часто имеют проблемы с промежуточными обновлениями в безопасном и прогнозируемом способе в нескольких кластерах. Чтобы устранить эту проблему, Kubernetes Fleet Manager (Fleet) позволяет управлять обновлениями в нескольких кластерах с помощью запусков обновлений, этапов, групп и стратегий.

Необходимые компоненты

• Ознакомьтесь с концептуальным обзором этой функции, которая содержит описание стратегий обновления, запусков, этапов и ссылок на группы в этом документе.

• У вас должен быть ресурс парка с одним или несколькими кластерами-членами. Если нет, выполните краткое руководство по созданию ресурса Fleet и присоединению кластеров Служба Azure Kubernetes (AKS) в качестве членов. В этом пошаговом руководстве демонстрируется ресурс флота с пятью кластерами членов AKS в качестве примера.

• Установите указанные ниже переменные среды.

  export GROUP=<resource-group>
  export FLEET=<fleet-name>
  

• Если вы выполняете инструкции по Azure CLI в этой статье, вам потребуется azure CLI версии 2.53.1 или более поздней версии. Чтобы выполнить установку или обновление Azure CLI, ознакомьтесь с этой статьей.

• Вам также требуется fleet расширение Azure CLI, которое можно установить, выполнив следующую команду:

  az extension add --name fleet
  

  Выполните следующую команду, чтобы обновить до последней версии выпущенного расширения:

  az extension update --name fleet
  

Примечание.

Обновление выполняется с учетом запланированных периодов обслуживания, установленных на уровне кластера AKS. Дополнительные сведения см. в статье плановое обслуживание в нескольких кластерах-членах, в которых объясняется, как запуски обновления обрабатывают кластеры-члены , настроенные с запланированными периодами обслуживания.

Запуск обновления поддерживает два варианта последовательности обновления кластеров:

• Однократно. Если вам не нужно контролировать последовательность, в которой обновляются кластеры, one-by-one предоставляет простой подход для обновления всех кластеров членов парка в последовательности по одному.
• Последовательность элементов управления кластерами с помощью групп обновлений и этапов . Если требуется управлять последовательностью обновления кластеров, можно структурировать кластеры-члены в группах обновлений и этапы обновления. Кроме того, эта последовательность может храниться в виде шаблона в виде стратегии обновления. Последующие запуски обновлений можно создавать из стратегий обновления, а не определять последовательность каждый раз, когда необходимо создать запуск обновления на основе этапов.

Обновление всех кластеров по одному

Портал Azure

1. На странице ресурса Azure Kubernetes Fleet Manager перейдите в меню обновления с несколькими кластерами и выберите "Создать".

2. Выбор одного на один обновляет все кластеры членов парка в последовательности по одному.

   

3. Для области обновления можно выбрать один из следующих трех вариантов:

   • Версия Kubernetes для пулов узлов и плоскости управления
   • Версия Kubernetes только для уровня управления кластера
   • Только версия образа узла

   

   Для образа узла доступны следующие параметры:

   • Последнее: обновляет каждый кластер AKS в обновлении до последнего образа, доступного для этого кластера в своем регионе.
   • Согласованность. Так как запуск обновления может иметь кластеры AKS в нескольких регионах, где последние доступные образы узлов могут отличаться ( средство отслеживания выпуска для получения дополнительных сведений). Запуск обновления выбирает последний общий образ во всех этих регионах для обеспечения согласованности.

Azure CLI

Создание запуска обновления:

• Выполните следующую команду, чтобы обновить версию Kubernetes и версию образа узла для всех кластеров парка по одному:

  az fleet updaterun create --resource-group $GROUP --fleet-name $FLEET --name run-1 --upgrade-type Full --kubernetes-version 1.26.0
  

• Выполните следующую команду, чтобы обновить версию Kubernetes только для уровня управления всех кластеров членов флота по одному:

  az fleet updaterun create --resource-group $GROUP --fleet-name $FLEET --name run-2 --upgrade-type ControlPlaneOnly --kubernetes-version 1.26.0
  

• Выполните следующую команду, чтобы обновить только версии образов узла для всех кластеров парка по одному:

  az fleet updaterun create --resource-group $GROUP --fleet-name $FLEET --name run-3 --upgrade-type NodeImageOnly
  

При создании запуска обновления у вас есть возможность управлять областью выполнения обновления. Флаг --upgrade-type поддерживает следующие значения:

• ControlPlaneOnly обновляет только версию Kubernetes для уровня управления кластера.
• Full обновляет версию Kubernetes для пулов элементов управления и пулов узлов вместе с образами узлов.
• NodeImageOnly обновляет только образы узлов.

Кроме того, --node-image-selection флаг поддерживает следующие значения:

• Последнее: обновляет каждый кластер AKS в обновлении до последнего образа, доступного для этого кластера в своем регионе.
• Согласованность. Так как запуск обновления может иметь кластеры AKS в нескольких регионах, где последние доступные образы узлов могут отличаться ( средство отслеживания выпуска для получения дополнительных сведений). Запуск обновления выбирает последний общий образ во всех этих регионах для обеспечения согласованности.

Запуск обновления:

Чтобы запустить запуск обновлений, выполните следующую команду:

az fleet updaterun start --resource-group $GROUP --fleet-name $FLEET --name <run-name>

Обновление кластеров в определенном порядке

Группы обновлений и этапы обеспечивают более контроль над последовательностью, которая выполняется при обновлении кластеров. На этапе обновления обновления обновления применяются ко всем разным группам обновлений параллельно; в группе обновлений кластеры-члены обновляются последовательно.

Назначение кластера группе обновлений

Кластер-член можно назначить определенной группе обновлений одним из двух способов.

• Назначьте группе при добавлении кластера-члена в парк. Например:

Портал Azure

1. На странице ресурса Azure Kubernetes Fleet Manager перейдите в кластеры участников.

   

2. Укажите группу обновления, к которой должен принадлежать кластер-член.

   

Azure CLI

az fleet member create --resource-group $GROUP --fleet-name $FLEET --name member1 --member-cluster-id $AKS_CLUSTER_ID --update-group group-1a

• Второй способ — назначить существующего члена парка группе обновлений. Например:

Портал Azure

1. На странице ресурса Azure Kubernetes Fleet Manager перейдите к кластерам участников. Выберите нужные кластеры-члены и выберите команду "Назначить группу обновлений".

   

2. Укажите имя группы и нажмите кнопку "Назначить".

   

Azure CLI

az fleet member update --resource-group $GROUP --fleet-name $FLEET --name member1 --update-group group-1a

Примечание.

Любой член флота может быть только частью одной группы обновления, но группа обновлений может иметь несколько членов флота внутри него. Сама группа обновления не является отдельным типом ресурса. Группы обновления — это только строки, представляющие ссылки из членов флота. Таким образом, если все члены парка со ссылками на общую группу обновлений удаляются, эта конкретная группа обновлений перестанет существовать.

Определение запуска обновления и этапов

Вы можете определить запуск обновления с помощью этапов обновления, чтобы последовательно упорядочить приложение обновлений для разных групп обновлений. Например, первый этап обновления может обновлять кластеры участников тестовой среды, а второй этап обновления будет обновлять кластеры членов рабочей среды. Можно также указать время ожидания между этапами обновления.

Портал Azure

1. На странице ресурса Azure Kubernetes Fleet Manager перейдите к обновлению с несколькими кластерами. На вкладке "Запуски" нажмите кнопку "Создать".

2. Укажите имя для запуска обновления, а затем выберите "Этапы" для типа последовательности обновления.

   

3. Выберите " Создать этап". Теперь можно указать имя этапа и длительность ожидания после каждого этапа.

   

4. Выберите группы обновлений, которые необходимо включить на этом этапе.

   

5. После определения всех этапов их можно упорядочить с помощью элементов управления "Переместить вверх " и "Переместить вниз ".

6. Для области обновления можно выбрать один из следующих трех вариантов:

   • Версия Kubernetes для пулов узлов и плоскости управления
   • Версия Kubernetes только для уровня управления кластера
   • Только версия образа узла

   

   Для образа узла доступны следующие параметры:

   • Последнее: обновляет каждый кластер AKS в обновлении до последнего образа, доступного для этого кластера в своем регионе.
   • Согласованность. Так как запуск обновления может иметь кластеры AKS в нескольких регионах, где последние доступные образы узлов могут отличаться ( средство отслеживания выпуска для получения дополнительных сведений). Запуск обновления выбирает последний общий образ во всех этих регионах для обеспечения согласованности.

7. Щелкните "Создать" в нижней части страницы, чтобы создать запуск обновления. Указание этапов и их порядка каждый раз при создании запуска обновления может получить повторяющиеся и громоздкие. Стратегии обновления упрощают этот процесс, позволяя хранить шаблоны для выполнения обновлений. Дополнительные сведения см. в статье о создании и использовании стратегии обновления.

8. В меню обновления с несколькими кластерами выберите запуск обновления и нажмите кнопку "Пуск".

Azure CLI

1. Выполните следующую команду, чтобы создать запуск обновления:

   az fleet updaterun create --resource-group $GROUP --fleet-name $FLEET --name run-4 --upgrade-type Full --kubernetes-version 1.26.0 --stages example-stages.json
   

   Ниже приведен пример входных данных из файла этапов (example-stages.json):

   {
       "stages": [
           {
               "name": "stage1",
               "groups": [
                   {
                       "name": "group-1a"
                   },
                   {
                       "name": "group-1b"
                   },
                   {
                       "name": "group-1c"
                   }
               ],
               "afterStageWaitInSeconds": 3600
           },
           {
               "name": "stage2",
               "groups": [
                   {
                       "name": "group-2a"
                   },
                   {
                       "name": "group-2b"
                   },
                   {
                       "name": "group-2c"
                   }
               ]
           }
       ]
   }
   

   При создании запуска обновления у вас есть возможность управлять областью выполнения обновления. Флаг --upgrade-type поддерживает следующие значения:

   • ControlPlaneOnly обновляет только версию Kubernetes для уровня управления кластера.
   • Full обновляет версию Kubernetes для пулов элементов управления и пулов узлов вместе с образами узлов.
   • NodeImageOnly обновляет только образы узлов.

   Кроме того, --node-image-selection флаг поддерживает следующие значения:

   • Последнее: обновляет каждый кластер AKS в обновлении до последнего образа, доступного для этого кластера в своем регионе.
   • Согласованность. Так как запуск обновления может иметь кластеры AKS в нескольких регионах, где последние доступные образы узлов могут отличаться ( средство отслеживания выпуска для получения дополнительных сведений). Запуск обновления выбирает последний общий образ во всех этих регионах для обеспечения согласованности.

2. Выполните следующую команду, чтобы запустить этот запуск обновления:

   az fleet updaterun start --resource-group $GROUP --fleet-name $FLEET --name run-4
   

Создание запуска обновления с помощью стратегий обновления

При создании запуска обновления необходимо указывать этапы, группы и их порядок каждый раз. Стратегии обновления упрощают этот процесс, позволяя хранить шаблоны для выполнения обновлений.

Примечание.

Можно создать несколько запусков обновлений с уникальными именами из одной стратегии обновления.

Портал Azure

Создайте стратегию обновления: существует два способа создания стратегии обновления:

• Подход 1. При создании запуска обновления можно сохранить стратегию обновления.

  

• Подход 2. Вы можете перейти к обновлению с несколькими кластерами и выбрать команду "Создать " на вкладке "Стратегия ".

  

Используйте стратегию обновления для создания запуска обновления: при создании последующих запусков обновления можно ссылаться на созданную стратегию обновления:

Azure CLI

1. Выполните следующую команду, чтобы создать новую стратегию обновления:

   az fleet updatestrategy create --resource-group $GROUP --fleet-name $FLEET --name strategy-1 --stages example-stages.json
   

2. Выполните следующую команду, чтобы создать запуск обновления, ссылающийся на эту стратегию:

   az fleet updaterun create --resource-group $GROUP --fleet-name $FLEET --name run-5 --update-strategy-name strategy-1 --upgrade-type NodeImageOnly --node-image-selection Consistent
   

Управление запуском обновления

Существует несколько вариантов управления запусками обновлений:

Портал Azure

• На вкладке обновления с несколькими кластерами ресурса парка можно запустить запуск обновления, который находится в состоянии "Не запущен" или "Не выполнено".

  

• На вкладке "Обновление нескольких кластеров" ресурса парка можно остановить текущий запуск обновления.

  

• В любом запуске обновления в состоянии "Не запущено", "Сбой" или "Запуск" можно выбрать любой этап и пропустить обновление.

  

  Вы также можете пропустить обновление на уровне группы обновления или кластера-члена.

  Дополнительные сведения см . в концептуальном обзоре состояний выполнения обновления и пропустить поведение на этапах выполнения или группах.

Azure CLI

• Запуск обновления можно запустить в состоянии "Не запущено" или "Не выполнено".

  az fleet updaterun start --resource-group $GROUP --fleet-name $FLEET --name <run-name>
  

• Вы можете остановить запуск обновления в настоящее время:

  az fleet updaterun stop --resource-group $GROUP --fleet-name $FLEET --name <run-name>
  

• Этапы обновления или группы можно пропустить, указав их в целевых объектах команды skip:

  az fleet updaterun skip --resource-group $GROUP --fleet-name $FLEET --name <run-name> --targets Group:my-group-name Stage:my-stage-name
  

  Дополнительные сведения см . в концептуальном обзоре состояний выполнения обновления и пропустить поведение на этапах выполнения или группах.