Подготовка кластера Kubernetes с поддержкой Azure Arc

Внимание

Предварительная версия операций Интернета вещей Azure, включенная Azure Arc в настоящее время в предварительной версии. Не следует использовать это программное обеспечение предварительной версии в рабочих средах.

Вам потребуется развернуть новую установку Операций Интернета вещей Azure, когда общедоступная версия станет доступной. Вы не сможете обновить предварительную установку.

Юридические условия, применимые к функциям Azure, которые находятся в состоянии бета-версии, предварительной версии или иным образом еще не выпущены в общедоступной версии, см. на странице Дополнительные условия использования предварительных версий в Microsoft Azure.

Кластер Kubernetes с поддержкой Azure Arc является необходимым условием для развертывания предварительной версии операций Интернета вещей Azure. В этой статье описывается, как подготовить кластер перед развертыванием Предварительной версии операций Интернета вещей Azure в кластере Kubernetes с поддержкой Arc. В этой статье содержатся рекомендации для Ubuntu и Windows.

Совет

Действия, описанные в этой статье, подготовят кластер к развертыванию безопасных параметров, который является более длительным, но готовым к работе процессом. Если вы хотите быстро развернуть операции Интернета вещей Azure и запустить пример рабочей нагрузки только с параметрами теста, см . краткое руководство. Запуск предварительной версии операций Интернета вещей Azure в Github Codespaces с K3s .

Дополнительные сведения о параметрах тестирования и безопасных параметрах см. в разделе "Сведения > о развертывании" "Выбор функций".

Необходимые компоненты

Операции Интернета вещей Azure должны работать в любом кластере Kubernetes с поддержкой Arc, который соответствует требованиям к системе Kubernetes с поддержкой Azure Arc. В настоящее время Операции Интернета вещей Azure не поддерживают архитектуры Arm64.

Корпорация Майкрософт поддерживает Служба Azure Kubernetes Edge Essentials для развертываний в Windows и K3s для развертываний в Ubuntu. Список определенных сочетаний оборудования и программного обеспечения, которые тестируются и проверяются, см. в разделе "Проверенные среды".

Если вы хотите развернуть операции Интернета вещей Azure в решении с несколькими узлами, используйте K3s в Ubuntu.

Чтобы подготовить кластер Kubernetes с поддержкой Azure Arc, вам потребуется:

AKS Edge Essentials

• Подписка Azure. Если у вас еще нет подписки Azure, создайте бесплатную учетную запись Azure, прежде чем начинать работу.

• Azure CLI версии 2.64.0 или более поздней версии, установленной на компьютере разработки. Используйте az --version для проверки версии и az upgrade обновления при необходимости. Дополнительные сведения см. в статье "Установка Azure CLI".

• Последняя версия расширения Операций Интернета вещей Azure для Azure CLI. Используйте следующую команду, чтобы добавить расширение или обновить его до последней версии:

  az extension add --upgrade --name azure-iot-ops
  

• Оборудование, соответствующее требованиям к системе:

  • Убедитесь, что на компьютере доступно не менее 16 ГБ ОЗУ, 8 доступных виртуальных ЦП и свободное место на диске размером 52 ГБ, зарезервированное для операций Интернета вещей Azure.
  • Требования к системе Kubernetes с поддержкой Azure Arc.
  • Требования и матрица поддержки AKS Edge Essentials.
  • Руководство по сети AKS Edge Essentials.

• Если вы собираетесь развернуть операции Интернета вещей Azure в кластере с поддержкой отказоустойчивости, просмотрите требования к оборудованию и хранилищу в разделе "Подготовка Linux для томов Edge".

Ubuntu

• Подписка Azure. Если у вас еще нет подписки Azure, создайте бесплатную учетную запись Azure, прежде чем начинать работу.

• Azure CLI версии 2.64.0 или более поздней версии, установленной на компьютере разработки. Используйте az --version для проверки версии и az upgrade обновления при необходимости. Дополнительные сведения см. в статье "Установка Azure CLI".

• Последняя версия расширения Операций Интернета вещей Azure для Azure CLI. Используйте следующую команду, чтобы добавить расширение или обновить его до последней версии:

  az extension add --upgrade --name azure-iot-ops
  

• Оборудование, соответствующее требованиям к системе:

  • Убедитесь, что компьютер имеет не менее 16 ГБ доступной ОЗУ и 8 доступных виртуальных ЦП, зарезервированных для операций Интернета вещей Azure.
  • Требования к системе Kubernetes с поддержкой Azure Arc.
  • Требования K3s.

Создание кластера

В этом разделе приведены инструкции по созданию кластеров в проверенных средах в Linux и Windows.

AKS Edge Essentials

Служба Azure Kubernetes Edge Essentials — это локальная реализация Kubernetes Служба Azure Kubernetes (AKS), которая автоматизирует выполнение контейнерных приложений в масштабе. AKS Edge Essentials включает поддерживаемую корпорацией Майкрософт платформу Kubernetes, которая включает упрощенное распределение Kubernetes с небольшим объемом и простым интерфейсом установки, поддерживающим оборудование pc-класса или "light".

Скрипт AksEdgeQuickStartForAio.ps1 автоматизирует процесс создания и подключения кластера и является рекомендуемым путем развертывания операций Интернета вещей Azure в AKS Edge Essentials.

1. Откройте окно PowerShell с повышенными привилегиями и измените каталог на рабочую папку.

2. objectId Получите приложение Идентификатора Microsoft Entra, которое служба Azure Arc использует в клиенте.

   az ad sp show --id bc313c14-388c-4e7d-a58e-70017303ee3b --query id -o tsv
   

3. Выполните следующие команды, заменив значения заполнителей своими сведениями:

   Заполнитель	Значение
   SUBSCRIPTION_ID	Идентификатор подписки Azure. Если вы не знаете идентификатор подписки, см. статью "Найти подписку Azure".
   TENANT_ID	Идентификатор клиента Microsoft Entra. Если вы не знаете идентификатор клиента, см. статью "Поиск клиента Microsoft Entra".
   RESOURCE_GROUP_NAME	Имя существующей группы ресурсов или имя создаваемой группы ресурсов.
   LOCATION	Регион Azure, близкий к вам. Список поддерживаемых в настоящее время регионов Azure см. в разделе "Поддерживаемые регионы".
   CLUSTER_NAME	Имя создаваемого кластера.
   ARC_APP_OBJECT_ID	Значение идентификатора объекта, полученное на предыдущем шаге.

   $url = "https://raw.githubusercontent.com/Azure/AKS-Edge/main/tools/scripts/AksEdgeQuickStart/AksEdgeQuickStartForAio.ps1"
   Invoke-WebRequest -Uri $url -OutFile .\AksEdgeQuickStartForAio.ps1
   Unblock-File .\AksEdgeQuickStartForAio.ps1
   Set-ExecutionPolicy -ExecutionPolicy Bypass -Scope Process -Force
   .\AksEdgeQuickStartForAio.ps1 -SubscriptionId "<SUBSCRIPTION_ID>" -TenantId "<TENANT_ID>" -ResourceGroupName "<RESOURCE_GROUP_NAME>"  -Location "<LOCATION>"  -ClusterName "<CLUSTER_NAME>" -CustomLocationOid "<ARC_APP_OBJECT_ID>"
   

   Если во время развертывания возникли проблемы, в том числе при перезагрузке компьютера в рамках этого процесса, выполните все команды снова.

4. Выполните следующие команды, чтобы убедиться, что развертывание выполнено успешно:

   Import-Module AksEdge
   Get-AksEdgeDeploymentInfo
   

   В выходных Get-AksEdgeDeploymentInfo данных команды вы увидите, что состояние Arc кластера равно Connected.

Ubuntu

Чтобы подготовить кластер K3s Kubernetes в Ubuntu:

1. Установите K3s, следуя инструкциям в кратком руководстве по началу работы K3s.

2. Убедитесь, что kubectl был установлен в составе K3s. Если нет, следуйте инструкциям по установке kubectl в Linux.

   kubectl version --client
   

3. Следуйте инструкциям по установке Helm.

4. Создайте yaml-файл конфигурации K3s в .kube/config:

   mkdir ~/.kube
   sudo KUBECONFIG=~/.kube/config:/etc/rancher/k3s/k3s.yaml kubectl config view --flatten > ~/.kube/merged
   mv ~/.kube/merged ~/.kube/config
   chmod  0600 ~/.kube/config
   export KUBECONFIG=~/.kube/config
   #switch to k3s context
   kubectl config use-context default
   sudo chmod 644 /etc/rancher/k3s/k3s.yaml
   

5. Выполните следующую команду, чтобы увеличить ограничения часов или экземпляров пользователя.

   echo fs.inotify.max_user_instances=8192 | sudo tee -a /etc/sysctl.conf
   echo fs.inotify.max_user_watches=524288 | sudo tee -a /etc/sysctl.conf
   
   sudo sysctl -p
   

6. Для повышения производительности увеличьте ограничение дескриптора файла:

   echo fs.file-max = 100000 | sudo tee -a /etc/sysctl.conf
   
   sudo sysctl -p
   

Настройка кластеров с несколькими узлами для хранилища контейнеров Azure

В кластерах с несколькими узлами с по крайней мере тремя узлами можно включить отказоустойчивость хранилища с помощью хранилища контейнеров Azure, включенного Azure Arc при развертывании операций Интернета вещей Azure. Если вы хотите включить этот параметр, подготовьте кластер с несколькими узлами, выполнив следующие действия.

1. Установите необходимый NVME через TCP-модуль для ядра с помощью следующей команды:

   sudo apt install linux-modules-extra-`uname -r`
   

   Примечание.

   Минимальная поддерживаемая версия ядра Linux — 5.1. В настоящее время существуют известные проблемы с 6.4 и 6.2. Последние сведения см. в заметках о выпуске службы хранилища контейнеров Azure

2. На каждом узле в кластере задайте для числа ОгромныхPage значение 512, используя следующую команду:

   HUGEPAGES_NR=512
   echo $HUGEPAGES_NR | sudo tee /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
   echo "vm.nr_hugepages=$HUGEPAGES_NR" | sudo tee /etc/sysctl.d/99-hugepages.conf
   

Включение Arc кластера

Подключите кластер к Azure Arc, чтобы его можно было удаленно управлять.

AKS Edge Essentials

Скрипт AksEdgeQuickStartForAio.ps1 , запущенный в предыдущем разделе, выполнил шаги по подключению кластера. Вам не нужно предпринимать никаких дополнительных действий для включения Arc.

Ubuntu

Чтобы подключить кластер к Azure Arc, выполните приведенные действия.

1. На компьютере, на котором развернут кластер Kubernetes, войдите с помощью Azure CLI:

   az login
   

   Если в любой момент вы получите сообщение об ошибке, в которой говорится, что устройство должно быть управляемо для доступа к ресурсу, запустите az login еще раз и убедитесь, что вы войдете в интерактивный режим с помощью браузера.

2. Задайте переменные среды для подписки Azure, расположения, новой группы ресурсов и имени кластера, как вы хотите, чтобы она отображалась в группе ресурсов.

   Список поддерживаемых в настоящее время регионов Azure см. в разделе "Поддерживаемые регионы".

   # Id of the subscription where your resource group and Arc-enabled cluster will be created
   export SUBSCRIPTION_ID=<SUBSCRIPTION_ID>
   
   # Azure region where the created resource group will be located
   export LOCATION=<REGION>
   
   # Name of a new resource group to create which will hold the Arc-enabled cluster and Azure IoT Operations resources
   export RESOURCE_GROUP=<NEW_RESOURCE_GROUP_NAME>
   
   # Name of the Arc-enabled cluster to create in your resource group
   export CLUSTER_NAME=<NEW_CLUSTER_NAME>
   

1. После входа Azure CLI отображает все подписки и указывает подписку по умолчанию со звездочкой *. Чтобы продолжить подписку по умолчанию, выберите Enter. В противном случае введите номер подписки Azure, которую вы хотите использовать.

2. Зарегистрируйте необходимых поставщиков ресурсов в подписке:

   Примечание.

   Этот шаг необходимо выполнить только один раз для каждой подписки. Чтобы зарегистрировать поставщиков ресурсов, необходимо разрешение на /register/action операцию, которая включается в роли участника подписки и владельца. Дополнительные сведения см. в разделе "Поставщики и типы ресурсов Azure".

   az provider register -n "Microsoft.ExtendedLocation"
   az provider register -n "Microsoft.Kubernetes"
   az provider register -n "Microsoft.KubernetesConfiguration"
   az provider register -n "Microsoft.IoTOperations"
   az provider register -n "Microsoft.DeviceRegistry"
   

3. Используйте команду az group create, чтобы создать группу ресурсов в подписке Azure для хранения всех ресурсов:

   az group create --location $LOCATION --resource-group $RESOURCE_GROUP --subscription $SUBSCRIPTION_ID
   

4. Удаление существующей подключенной командной строки k8s при наличии

   az extension remove --name connectedk8s 
   

5. Скачайте и установите предварительную версию connectedk8s расширения для Azure CLI.

   curl -L -o connectedk8s-1.10.0-py2.py3-none-any.whl https://github.com/AzureArcForKubernetes/azure-cli-extensions/raw/refs/heads/connectedk8s/public/cli-extensions/connectedk8s-1.10.0-py2.py3-none-any.whl   
   az extension add --upgrade --source connectedk8s-1.10.0-py2.py3-none-any.whl
   

6. Используйте команду az connectedk8s connect, чтобы включить кластер Kubernetes и управлять им в составе группы ресурсов Azure:

   az connectedk8s connect --name $CLUSTER_NAME -l $LOCATION --resource-group $RESOURCE_GROUP --subscription $SUBSCRIPTION_ID --enable-oidc-issuer --enable-workload-identity
   

7. Получите URL-адрес издателя кластера.

   az connectedk8s show --resource-group $RESOURCE_GROUP --name $CLUSTER_NAME --query oidcIssuerProfile.issuerUrl --output tsv
   

   Сохраните выходные данные этой команды для использования в следующих шагах.

8. Создайте файл конфигурации k3s.

   sudo nano /etc/rancher/k3s/config.yaml
   

9. Добавьте в файл следующее содержимое config.yaml , заменив <SERVICE_ACCOUNT_ISSUER> заполнитель URL-адресом издателя кластера.

   kube-apiserver-arg:
    - service-account-issuer=<SERVICE_ACCOUNT_ISSUER>
    - service-account-max-token-expiration=24h
   

10. Сохраните файл и закройте редактор nano.

11. objectId Получите приложение Идентификатора Microsoft Entra, которое служба Azure Arc использует в клиенте и сохраните ее в качестве переменной среды.

    export OBJECT_ID=$(az ad sp show --id bc313c14-388c-4e7d-a58e-70017303ee3b --query id -o tsv)
    

12. Используйте команду az connectedk8s enable-features, чтобы включить поддержку пользовательского расположения в кластере. Эта команда использует objectId приложение Идентификатора Microsoft Entra, которое использует служба Azure Arc. Выполните следующую команду на компьютере, где развернут кластер Kubernetes:

    az connectedk8s enable-features -n $CLUSTER_NAME -g $RESOURCE_GROUP --custom-locations-oid $OBJECT_ID --features cluster-connect custom-locations
    

13. Перезапустите K3s.

    systemctl restart k3s
    

Проверка кластера

Чтобы убедиться, что кластер готов к развертыванию Операций Интернета вещей Azure, можно использовать вспомогающую команду проверяющего узла в расширении операций Интернета вещей Azure для Azure CLI. При запуске на узле кластера эта вспомогательная команда проверяет подключение к конечным точкам Azure Resource Manager и Реестра контейнеров Майкрософт.

az iot ops verify-host

Чтобы убедиться, что кластер Kubernetes включен в Azure Arc, выполните следующую команду:

kubectl get deployments,pods -n azure-arc

Выходные данные выглядят так:

NAME                                         READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/clusterconnect-agent         1/1     1            1           10m
deployment.apps/extension-manager            1/1     1            1           10m
deployment.apps/clusteridentityoperator      1/1     1            1           10m
deployment.apps/controller-manager           1/1     1            1           10m
deployment.apps/flux-logs-agent              1/1     1            1           10m
deployment.apps/cluster-metadata-operator    1/1     1            1           10m
deployment.apps/extension-events-collector   1/1     1            1           10m
deployment.apps/config-agent                 1/1     1            1           10m
deployment.apps/kube-aad-proxy               1/1     1            1           10m
deployment.apps/resource-sync-agent          1/1     1            1           10m
deployment.apps/metrics-agent                1/1     1            1           10m

NAME                                              READY   STATUS    RESTARTS        AGE
pod/clusterconnect-agent-5948cdfb4c-vzfst         3/3     Running   0               10m
pod/extension-manager-65b8f7f4cb-tp7pp            3/3     Running   0               10m
pod/clusteridentityoperator-6d64fdb886-p5m25      2/2     Running   0               10m
pod/controller-manager-567c9647db-qkprs           2/2     Running   0               10m
pod/flux-logs-agent-7bf6f4bf8c-mr5df              1/1     Running   0               10m
pod/cluster-metadata-operator-7cc4c554d4-nck9z    2/2     Running   0               10m
pod/extension-events-collector-58dfb78cb5-vxbzq   2/2     Running   0               10m
pod/config-agent-7579f558d9-5jnwq                 2/2     Running   0               10m
pod/kube-aad-proxy-56d9f754d8-9gthm               2/2     Running   0               10m
pod/resource-sync-agent-769bb66b79-z9n46          2/2     Running   0               10m
pod/metrics-agent-6588f97dc-455j8                 2/2     Running   0               10m

Следующие шаги

Теперь, когда у вас есть кластер Kubernetes с поддержкой Azure Arc, можно развернуть операции Интернета вещей Azure.