你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

准备已启用 Azure Arc 的 Kubernetes 群集

项目
10/05/2024

重要

Azure Arc 启用的 Azure IoT 操作预览版目前处于预览状态。不应在生产环境中使用此预览版软件。

在正式版推出后，你需要部署新的 Azure IoT 操作安装。无法升级预览版安装。

有关 beta 版本、预览版或尚未正式发布的版本的 Azure 功能所适用的法律条款，请参阅 Microsoft Azure 预览版的补充使用条款。

已启用 Azure Arc 的 Kubernetes 群集是部署 Azure IoT 操作预览版的先决条件。本文介绍如何准备群集，以便之后将 Azure IoT 操作预览版部署到已启用 Arc 的 Kubernetes 群集。本文提供 Ubuntu 和 Windows 相关指南。

提示

本文中的步骤为群集做好安全设置部署的准备，该部署是一个较长但可用于生产的过程。若要快速部署 Azure IoT 操作并运行只有测试设置的示例工作负载，请改为参阅快速入门：使用 K3s 在 Github Codespaces 中运行 Azure IoT 操作预览版。

有关测试设置和安全设置的详细信息，请参阅“部署详细信息”>“选择功能”。

先决条件

在任何满足已启用 Azure Arc 的 Kubernetes 系统要求的已启用 Arc 的 Kubernetes 群集上，Azure IoT 操作都应能够运行。目前，Azure IoT 操作不支持 Arm64 体系结构。

Microsoft 支持 Azure Kubernetes 服务 (AKS) Edge Essentials 在 Windows 上部署，支持 K3s 在 Ubuntu 上部署。有关经过测试和验证的特定硬件和软件组合的列表，请参阅经过验证的环境。

若要将 Azure IoT 操作部署到多节点解决方案，请使用 Ubuntu 上的 K3s。

若要准备已启用 Azure Arc 的 Kubernetes 群集，需要满足以下条件：

AKS Edge Essentials
Ubuntu

Azure 订阅。如果还没有 Azure 订阅，可以在开始前创建一个免费帐户。
在开发计算机上安装的 Azure CLI 2.64.0 或更高版本。如有必要，请使用az --version检查版本，使用az upgrade进行更新。有关详细信息，请参阅如何安装 Azure CLI。
最新版本的适用于 Azure CLI 的 Azure IoT 操作扩展。使用以下命令添加扩展或将其更新到最新版本：
```
az extension add --upgrade --name azure-iot-ops
```
满足系统要求的硬件：
- 确保计算机至少有 16 GB 可用 RAM、8 个可用 vCPU 以及为 Azure IoT 操作保留的 52 GB 可用磁盘空间。
- 已启用 Azure Arc 的 Kubernetes 的系统要求。
- AKS 边缘软件包要求和支持矩阵。
- AKS 边缘软件包网络指南。
如果要将 Azure IoT 操作部署到启用了容错功能的多节点群集，请查看为 Edge 卷准备 Linux 中的硬件和存储要求。

Azure 订阅。如果还没有 Azure 订阅，可以在开始前创建一个免费帐户。
在开发计算机上安装的 Azure CLI 2.64.0 或更高版本。如有必要，请使用az --version检查版本，使用az upgrade进行更新。有关详细信息，请参阅如何安装 Azure CLI。
最新版本的适用于 Azure CLI 的 Azure IoT 操作扩展。使用以下命令添加扩展或将其更新到最新版本：
```
az extension add --upgrade --name azure-iot-ops
```
满足系统要求的硬件：
- 确保计算机至少有 16 GB 可用 RAM 以及 8 个可用 vCPU（为 Azure IoT 操作保留）。
- 已启用 Azure Arc 的 Kubernetes 的系统要求。
- K3s 要求。

创建群集

本部分提供在 Linux 和 Windows 上经验证的环境中创建群集的步骤。

AKS Edge Essentials
Ubuntu

Azure Kubernetes 服务边缘软件包是大规模自动运行容器化应用程序的 Azure Kubernetes 服务 (AKS) 的本地 Kubernetes 实现。 AKS 边缘软件包中有一个 Microsoft 支持的 Kubernetes 平台，该平台包括一个轻量级 Kubernetes 发行版，其占用空间小且安装体验简单，支持电脑类或“轻型”边缘硬件。

AksEdgeQuickStartForAio.ps1 脚本可自动执行创建和连接群集的过程，并推荐用于在 AKS Edge Essentials 上部署 Azure IoT 操作。

打开提升的 PowerShell 窗口并将目录更改为工作文件夹。
获取 Azure Arc 服务在租户中使用的 Microsoft Entra ID 应用程序的 objectId。
```
az ad sp show --id bc313c14-388c-4e7d-a58e-70017303ee3b --query id -o tsv
```

运行以下命令，将占位符值替换为信息：

占位符	值
SUBSCRIPTION_ID	Azure 订阅的 ID。如果不知道订阅 ID，请参阅“查找 Azure 订阅”。
TENANT_ID	Microsoft Entra 租户的 ID。如果不知道租户 ID，请参阅“查找 Microsoft Entra 租户”。
RESOURCE_GROUP_NAME	现有资源组的名称或要创建的新资源组的名称。
LOCATION	离你较近的 Azure 区域。有关当前支持的 Azure 区域的列表，请参阅支持的区域。
CLUSTER_NAME	要创建的新群集的名称。
ARC_APP_OBJECT_ID	在上一步中检索到的对象 ID 值。

$url = "https://raw.githubusercontent.com/Azure/AKS-Edge/main/tools/scripts/AksEdgeQuickStart/AksEdgeQuickStartForAio.ps1"
Invoke-WebRequest -Uri $url -OutFile .\AksEdgeQuickStartForAio.ps1
Unblock-File .\AksEdgeQuickStartForAio.ps1
Set-ExecutionPolicy -ExecutionPolicy Bypass -Scope Process -Force
.\AksEdgeQuickStartForAio.ps1 -SubscriptionId "<SUBSCRIPTION_ID>" -TenantId "<TENANT_ID>" -ResourceGroupName "<RESOURCE_GROUP_NAME>"  -Location "<LOCATION>"  -ClusterName "<CLUSTER_NAME>" -CustomLocationOid "<ARC_APP_OBJECT_ID>"

如果部署期间出现任何问（如计算机在此过程中重新启动），请再次运行整套命令。

运行以下命令以检查部署是否成功：
```
Import-Module AksEdge
Get-AksEdgeDeploymentInfo
```
在 Get-AksEdgeDeploymentInfo 命令的输出中，应会看到群集的 Arc 状态为 Connected。

若要准备 Ubuntu 上的 K3s Kubernetes 群集，请执行以下操作：

按照 K3s 快速入门指南中的说明安装 K3s。
查看 kubectl 是否已作为 K3s 的一部分安装。如果答案为否，请按照在 Linux 上安装 kubectl 的说明进行操作。
```
kubectl version --client
```
按照说明安装 Helm。

在.kube/config中创建 K3s 配置 yaml 文件：

mkdir ~/.kube
sudo KUBECONFIG=~/.kube/config:/etc/rancher/k3s/k3s.yaml kubectl config view --flatten > ~/.kube/merged
mv ~/.kube/merged ~/.kube/config
chmod  0600 ~/.kube/config
export KUBECONFIG=~/.kube/config
#switch to k3s context
kubectl config use-context default
sudo chmod 644 /etc/rancher/k3s/k3s.yaml

运行以下命令以增加用户监视/实例限制。

echo fs.inotify.max_user_instances=8192 | sudo tee -a /etc/sysctl.conf
echo fs.inotify.max_user_watches=524288 | sudo tee -a /etc/sysctl.conf

sudo sysctl -p

为了获得更好的性能，请调高文件描述符限制：

echo fs.file-max = 100000 | sudo tee -a /etc/sysctl.conf

sudo sysctl -p

为 Azure 容器存储配置多节点群集

在至少具有三个节点的多节点群集上，可以选择在部署 Azure IoT 操作时使用 Azure Arc 启用的 Azure 容器存储来启用存储容错功能。如果要启用该选项，请按照以下步骤准备多节点群集：

使用以下命令为内核安装所需的 NVME over TCP 模块：
```
sudo apt install linux-modules-extra-`uname -r`
```
注意

支持的最低 Linux 内核版本为 5.1。目前，6.4 和 6.2 存在已知问题。如需最新信息，请参阅 Azure 容器存储发行说明

在群集中的每个节点上，使用以下命令将 HugePages 的数量设置为 512：

HUGEPAGES_NR=512
echo $HUGEPAGES_NR | sudo tee /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
echo "vm.nr_hugepages=$HUGEPAGES_NR" | sudo tee /etc/sysctl.d/99-hugepages.conf

通过 Arc 启用群集

将群集连接到 Azure Arc，以便远程管理它。

AKS Edge Essentials
Ubuntu

在上一节中运行的 AksEdgeQuickStartForAio.ps1 脚本处理了连接群集的步骤。无需执行任何额外的步骤即可启用 Arc。

要将群集连接到 Azure Arc：

在部署 Kubernetes 群集的计算机上，使用 Azure CLI 登录：
```
az login
```
如果在任何时间点收到错误，指出“设备必须受管才能访问你的资源”，请再次运行 az login，并确保使用浏览器以交互方式登录。

为 Azure 订阅、位置、新资源组以及你要其在资源组中显示的群集名称设置环境变量。

有关当前支持的 Azure 区域的列表，请参阅支持的区域。

# Id of the subscription where your resource group and Arc-enabled cluster will be created
export SUBSCRIPTION_ID=<SUBSCRIPTION_ID>

# Azure region where the created resource group will be located
export LOCATION=<REGION>

# Name of a new resource group to create which will hold the Arc-enabled cluster and Azure IoT Operations resources
export RESOURCE_GROUP=<NEW_RESOURCE_GROUP_NAME>

# Name of the Arc-enabled cluster to create in your resource group
export CLUSTER_NAME=<NEW_CLUSTER_NAME>

登录后，Azure CLI 会显示你的所有订阅，并用星号 * 指示默认订阅。若要继续使用默认订阅，请选择 Enter。否则，请键入要使用的 Azure 订阅数。
在订阅中注册所需的资源提供程序：

注意

对于每个订阅，只需运行此步骤一次。若要注册资源提供程序，你需要有执行 /register/action 操作的权限，该权限包含在订阅“参与者”和“所有者”角色中。有关详细信息，请参阅 Azure 资源提供程序和类型。
```
az provider register -n "Microsoft.ExtendedLocation"
az provider register -n "Microsoft.Kubernetes"
az provider register -n "Microsoft.KubernetesConfiguration"
az provider register -n "Microsoft.IoTOperations"
az provider register -n "Microsoft.DeviceRegistry"
```

使用az group create命令在 Azure 订阅中创建资源组以存储所有资源：

az group create --location $LOCATION --resource-group $RESOURCE_GROUP --subscription $SUBSCRIPTION_ID

移除现有的已连接 k8s cli（如果有）
```
az extension remove --name connectedk8s 
```

下载并安装 Azure CLI 的 connectedk8s 扩展的预览版本。

curl -L -o connectedk8s-1.10.0-py2.py3-none-any.whl https://github.com/AzureArcForKubernetes/azure-cli-extensions/raw/refs/heads/connectedk8s/public/cli-extensions/connectedk8s-1.10.0-py2.py3-none-any.whl   
az extension add --upgrade --source connectedk8s-1.10.0-py2.py3-none-any.whl

使用 az connectedk8s connect 命令连接到已启用 Arc 的 Kubernetes 群集，并将其作为 Azure 资源组的一部分进行管理：

az connectedk8s connect --name $CLUSTER_NAME -l $LOCATION --resource-group $RESOURCE_GROUP --subscription $SUBSCRIPTION_ID --enable-oidc-issuer --enable-workload-identity

获取群集的颁发者 URL。

az connectedk8s show --resource-group $RESOURCE_GROUP --name $CLUSTER_NAME --query oidcIssuerProfile.issuerUrl --output tsv

保存此命令的输出，以便在后续步骤中使用。

创建 k3s 配置文件。
```
sudo nano /etc/rancher/k3s/config.yaml
```
将以下内容添加到 config.yaml 文件，并将 <SERVICE_ACCOUNT_ISSUER> 占位符替换为群集的颁发者 URL。
```
kube-apiserver-arg:
 - service-account-issuer=<SERVICE_ACCOUNT_ISSUER>
 - service-account-max-token-expiration=24h
```
保存文件，并退出 nano 编辑器。
获取 Azure Arc 服务在租户中使用的 Microsoft Entra ID 应用程序的 objectId，并将其保存为环境变量。
```
export OBJECT_ID=$(az ad sp show --id bc313c14-388c-4e7d-a58e-70017303ee3b --query id -o tsv)
```
使用az connectedk8s enable-features命令在群集上启用自定义位置支持。此命令使用 Azure Arc 服务所用的 Microsoft Entra ID 应用程序的 objectId。在部署 Kubernetes 群集的计算机上运行此命令：
```
az connectedk8s enable-features -n $CLUSTER_NAME -g $RESOURCE_GROUP --custom-locations-oid $OBJECT_ID --features cluster-connect custom-locations
```
重启 K3s。
```
systemctl restart k3s
```

验证群集

若要验证群集是否已准备好进行 Azure IoT 操作部署，可以在 Azure CLI 的 Azure IoT 操作扩展中使用 verify-host 帮助程序命令。在群集主机上运行时，会此帮助程序命令检查与 Azure 资源管理器和 Microsoft 容器注册表终结点的连接。

az iot ops verify-host

若要验证 Kubernetes 群集是否已启用 Azure Arc，请运行以下命令：

kubectl get deployments,pods -n azure-arc

输出如下所示：

NAME                                         READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/clusterconnect-agent         1/1     1            1           10m
deployment.apps/extension-manager            1/1     1            1           10m
deployment.apps/clusteridentityoperator      1/1     1            1           10m
deployment.apps/controller-manager           1/1     1            1           10m
deployment.apps/flux-logs-agent              1/1     1            1           10m
deployment.apps/cluster-metadata-operator    1/1     1            1           10m
deployment.apps/extension-events-collector   1/1     1            1           10m
deployment.apps/config-agent                 1/1     1            1           10m
deployment.apps/kube-aad-proxy               1/1     1            1           10m
deployment.apps/resource-sync-agent          1/1     1            1           10m
deployment.apps/metrics-agent                1/1     1            1           10m

NAME                                              READY   STATUS    RESTARTS        AGE
pod/clusterconnect-agent-5948cdfb4c-vzfst         3/3     Running   0               10m
pod/extension-manager-65b8f7f4cb-tp7pp            3/3     Running   0               10m
pod/clusteridentityoperator-6d64fdb886-p5m25      2/2     Running   0               10m
pod/controller-manager-567c9647db-qkprs           2/2     Running   0               10m
pod/flux-logs-agent-7bf6f4bf8c-mr5df              1/1     Running   0               10m
pod/cluster-metadata-operator-7cc4c554d4-nck9z    2/2     Running   0               10m
pod/extension-events-collector-58dfb78cb5-vxbzq   2/2     Running   0               10m
pod/config-agent-7579f558d9-5jnwq                 2/2     Running   0               10m
pod/kube-aad-proxy-56d9f754d8-9gthm               2/2     Running   0               10m
pod/resource-sync-agent-769bb66b79-z9n46          2/2     Running   0               10m
pod/metrics-agent-6588f97dc-455j8                 2/2     Running   0               10m

后续步骤

现在你已经具有已启用 Azure Arc 的 Kubernetes 群集，接下来可以部署 Azure IoT 操作。

通过