你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

在 Azure Stack Edge Pro GPU 设备上部署高性能网络 VM

项目
03/25/2023

适用范围：对于 Pro GPU SKU 是必需的 Azure Stack Edge Pro - GPU 对于 Pro 2 SKU 是必需的 Azure Stack Edge Pro 2 对于 Pro R SKU 是必需的 Azure Stack Edge Pro R 对于 Mini R SKU 是必需的 Azure Stack Edge Mini R

你可以使用 Azure 门户、模板、Azure PowerShell cmdlet 以及通过 Azure CLI 或 Python 脚本在 Azure Stack Edge Pro GPU 设备上创建和管理虚拟机 (VM)。本文介绍了如何在 Azure Stack Edge Pro GPU 设备上创建和管理高性能网络 (HPN) VM。

关于 HPN VM

HPN VM 专为 5G 和MEC（多接入边缘计算）网络功能而设计，这些网络功能需要高数据包处理速率、低延迟和低抖动。

HPN VM 依赖于非一致性内存访问 (NUMA) 体系结构来提高处理速度。在 NUMA 系统中，CPU 被安排在称为节点的较小系统中。每个节点都有一组专用的逻辑处理器和内存。一个 HPN VM 只能使用一个 NUMA 节点的 CPU。

在 Azure Stack Edge 设备上，逻辑处理器分布在 NUMA 节点上，高速网络接口可附加到这些节点。

为了在同一 NUMA 节点上实现性能、处理和传输的最大化，将为处理器分配距离最近的内存，以减少物理距离。有关详细信息，请参阅 NUMA 支持。

Azure Stack Edge 的 vCPU 预留

若要在 Azure Stack Edge 上部署 HPN VM，必须在 NUMA 节点上预留 vCPU。预留的 vCPU 数决定了可分配给 HPN VM 的可用 vCPU。

有关每个 HPN VM 大小使用的内核数，请参阅支持的 HPN VM 大小。

在版本 2210 中，将按每个 NUMA 节点支持的最大 vCPU 数自动预留 vCPU。如果已在某个早期版本中为 HPN VM 预留了 vCPU，现有预留将保留到 2210 版本。如果未在早期版本中为 HPN VM 预留 vCPU，则升级到 2210 后将继续执行现有配置。

对于版本 2209 及更早版本，必须先在 NUMA 节点上预留 vCPU，然后才能在设备上部署 HPN VM。建议将 NUMA 节点 0 用于 vCPU 预留，因为 NUMA 节点 0 具有 Mellanox 高速网络接口。

HPN VM 部署工作流

下面是此 HPN 部署工作流的基本摘要信息：

在设备上配置网络设置时，请确保设备上有一个虚拟交换机与可用于 VM 资源和 VM 的网络接口相关联。本文中将使用通过 vswitch 创建的默认虚拟网络。如果需要，可以选择创建和使用其他虚拟网络。
通过 Azure 门户启用 VM 的云管理。将 VHD 下载到设备上，并根据 VHD 创建 VM 映像。
在设备上为版本 2209 及更早版本的 HPN VM 预留 vCPU。对于版本 2210，会自动预留 vCPU。
使用在前面的步骤中创建的服务：
1. 所创建的 VM 映像。
2. 与虚拟交换机关联的默认虚拟网络。默认虚拟网络名称与虚拟交换机的名称相同。
3. 默认虚拟网络的默认子网。
并创建或指定以下资源：
1. 指定 VM 名称和支持的 HPN VM 大小，并为 VM 指定登录凭据。
2. 创建新的数据磁盘或附加现有的数据磁盘。
3. 为 VM 配置静态或动态 IP。如果提供静态 IP，则在默认虚拟网络的子网范围中指定一个可用 IP。
使用上述资源创建 HPN VM。

先决条件

在通过 Azure 门户在设备上创建和管理 VM 之前，请确保：

2210
2209 及更早版本

现已配置并激活 Azure Stack Edge Pro GPU 设备，如教程：使用 GPU 激活 Azure Stack Edge Pro 中所述。

确保已创建虚拟交换机。 VM 和 VM 的资源将使用此虚拟交换机和关联的虚拟网络。有关详细信息，请参阅在 Azure Stack Edge Pro GPU 上配置虚拟交换机。
你对要创建的 VM 的 VM 映像具有访问权限。若要创建 VM 映像，可以从 Azure 市场获取映像。
除了上述创建 VM 的先决条件外，还需要检查 HPN VM 的 vCPU 预留。
- 默认 vCPU 预留使用 SkuPolicy，后者会预留可供 HPN VM 使用的所有 vCPU。
- 如果 vCPU 已在早期版本（例如，版本 2209 或更早版本）中为 HPN VM 预留，则现有预留将保留到 2210 版本。
- 对于大多数用例，建议使用默认配置。如果需要，还可以自定义 HPN VM 的 NUMA 配置。若要自定义配置，请使用为 2209 提供的步骤。

使用以下步骤获取有关设备上的 SkuPolicy 设置的信息：

连接到设备的 PowerShell 界面。

运行以下命令，查看设备上可用的 NUMA 策略：

Get-HcsNumaPolicy

下面是示例输出：

[DBE-BNVGF33.microsoftdatabox.com]: PS>Get-HcsNumaPolicy

Get-HcsNumaPolicy
PolicyType: AllRoot
HpnLpMapping:
   CPUs: []

PolicyType: SkuPolicy
HpnLpMapping:
   CPUs: [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47]

[DBE-BNVGF33.microsoftdatabox.com]: PS>

运行以下命令，获取设备上的 vCPU 预留信息：

此 cmdlet 将输出：

HpnLpMapping：计算机上预留的 NUMA 逻辑处理器索引。
HpnCapableLpMapping：能够进行预留的 NUMA 逻辑处理器索引。
HpnLpAvailable：适用于新 HPN VM 部署的 NUMA 逻辑处理器索引。

Get-HcsNumaLpMapping

下面是 SkuPolicy 生效时的示例输出：

[DBE-BNVGF33.microsoftdatabox.com]: PS>Get-HcsNumaLpMapping
Hardware:
 { Numa Node #0 : CPUs [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23] }
 { Numa Node #1 : CPUs [24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47] }

HpnCapableLpMapping:
 { Numa Node #0 : CPUs [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23] }
 { Numa Node #1 : CPUs [28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47] }

BNVGF33:
HpnLpMapping:
 { Numa Node #0 : CPUs [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23] }
 { Numa Node #1 : CPUs [28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47] }

HpnLpAvailable:
 { Numa Node #0 : CPUs [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23] }
 { Numa Node #1 : CPUs [28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47] }

仅当想要更改当前预留或创建新预留时，才继续执行以下步骤。

运行以下命令，在设备上设置 NUMA 逻辑处理器映射。如果要指定自定义逻辑处理器集，可以使用 -Custom 参数。有关指定自定义集时的规则，请参阅本文中的“2209 及更早版本”选项卡。

运行此命令会停止运行 VM，触发重新启动，然后重启 VM。

Set-HcsNumaLpMapping -UseSkuPolicy

下面是示例输出：

[DBE-BNVGF33.microsoftdatabox.com]: Set-HcsNumaLpMapping -UseSkuPolicy
Requested Config already exists. No action needed.

[DBE-BNVGF33.microsoftdatabox.com]: PS> Set-HcsNumaLpMapping -UseAllRoot
Requested Configuration requires a reboot...
Machine will reboot in some time. Please be patient.
[DBE-BNVGF33.microsoftdatabox.com]: PS>

运行以下命令以验证 vCPU 预留，并验证 VM 是否已重启。
```
Get-HcsNumaLpMapping
```

已按照步骤 1：配置 Azure Stack Edge Pro GPU 设备中所述，在 Azure Stack Edge Pro GPU 设备上完成了网络设置。
1. 已启用计算网络接口。此网络接口 IP 用于为 VM 部署创建虚拟交换机。在设备的本地 UI 中，转到“计算”。选择用于创建虚拟交换机的网络接口。
  
  重要
  
  只能为计算配置一个端口。
2. 在网络接口上启用计算。 Azure Stack Edge Pro GPU 创建并管理与该网络接口相对应的虚拟交换机。
你有权访问 Windows VHD 或 Linux VHD，你将使用该 VHD 为你打算创建的 VM 创建 VM 映像。

除了用于创建 VM 的上述先决条件外，还需要专门为 HPN VM 配置以下先决条件：

在 Mellanox 接口上为 HPN VM 保留 vCPU。执行以下步骤：
1. 连接到设备的 PowerShell 界面。
2. 确定设备上运行的所有 VM，包括 Kubernetes VM 和可能已部署的任何 VM 工作负载。
```
get-vm
```
3. 停止所有正在运行的 VM。
```
stop-vm -force
```
4. 获取设备的 hostname。这应返回与设备主机名对应的字符串。
```
hostname
```
5. 获取要为 HPN VM 保留的逻辑处理器索引。
```
Get-HcsNumaLpMapping -MapType HighPerformanceCapable -NodeName <Output of hostname command> 
```
  下面是示例输出：
```
[dbe-1csphq2.microsoftdatabox.com]: PS>hostname 1CSPHQ2
[dbe-1csphq2.microsoftdatabox.com]: P> Get-HcsNumaLpMapping -MapType HighPerformanceCapable -NodeName 1CSPHQ2
 { Numa Node #0 : CPUs [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19] }
 { Numa Node #1 : CPUs [24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39] }

[dbe-1csphq2.microsoftdatabox.com]: PS>
```
6. 为 HPN VM 保留 vCPU。此处保留的 vCPU 数决定了可分配给 HPN VM 的可用 vCPU。有关每个 HPN VM 大小使用的内核数，请参阅支持的 HPN VM 大小。在设备上，Mellanox 端口 5 和端口 6 位于 NUMA 节点 0 上。
```
Set-HcsNumaLpMapping -CpusForHighPerfVmsCommaSeperated <Logical indexes from the Get-HcsNumaLpMapping cmdlet> -AssignAllCpusToRoot $false
```
  下面是示例输出：
```
[dbe-1csphq2.microsoftdatabox.com]: PS>Set-HcsNumaLpMapping -CpusForHighPerfVmsCommaSeperated "4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39" -AssignAllCpusToRoot $false 

Requested Configuration requires a reboot...

Machine will reboot in some time. Please be patient.

[dbe-1csphq2.microsoftdatabox.com]: PS>
```
  注意
  - 可选择保留示例中显示的两个 NUMA 节点的所有逻辑索引或其中部分索引。如果选择保留一部分索引，请从附加了 Mellanox 网络接口的设备节点中选取这些索引，以获得最佳性能。对于 Azure Stack Edge Pro GPU，具有 Mellanox 网络接口的 NUMA 节点为 #0。
  - 逻辑索引列表必须包含奇数和偶数的成对序列。例如 ((4,5)(6,7)(10,11))。尝试设置一系列数字（如 5,6,7）或数字对（如4,6）将不起作用。
  - 连续使用两个 Set-HcsNuma 命令来分配 vCPU 将重置配置。此外，如果已部署 HPN VM，请勿使用 Set-HcsNuma cmdlet 释放 CPU。
  注意
  
  从早期版本更新到 2210 的设备将保留升级前的 minroot 配置。
7. 等待设备完成重启。设备再次运行后，将打开新的 PowerShell 会话。连接到设备的 PowerShell 界面。
8. 验证 vCPU 预留并验证 VM 是否已重启。
```
Get-HcsNumaLpMapping
```
  输出不应显示设置的索引。如果看到在输出中设置的索引，则 Set 命令未成功完成。在这种情况下，请重试该命令，如果问题仍然存在，请联系 Microsoft 支持部门。
  
  下面是示例输出。
```
dbe-1csphq2.microsoftdatabox.com]: PS> Get-HcsNumaLpMapping -MapType MinRootAware -NodeName 1CSPHQ2 

{ Numa Node #0 : CPUs [0, 1, 2, 3] } 

{ Numa Node #1 : CPUs [20, 21, 22, 23] } 

[dbe-1csphq2.microsoftdatabox.com]: 

PS> 
```
9. 重启在上一步中停止的 VM。
```
start-vm
```

部署 VM

按照以下步骤在设备上创建 HPN VM。

注意

Azure Stack Edge Pro 1 设备具有两个 NUMA 节点，因此，在预配非 HPN VM 之前，必须预配 HPN VM。

在 Azure Stack Edge 资源的 Azure 门户中，添加 VM 映像。在下一步中，你将使用此 VM 映像来创建 VM。可以为 VM 选择 Gen1 或 Gen2。
按照此配置要求执行添加 VM中的所有步骤。

在“基本信息”选项卡上，从 HPN 支持的 DSv2 或 F 系列中选择一个 VM 大小。
完成 VM 创建中的其余步骤。创建 VM 大约需要 30 分钟。
成功创建 VM 后，“概述”窗格上将显示新的 VM。选择新创建的 VM，以转到“虚拟机”。

选择 VM，查看详细信息。

你将使用网络接口的 IP 地址连接到 VM。

注意

如果在部署之前没有为 HPN VM 保留 vCPU，则部署将失败并出现 FabricVmPlacementErrorInsufficientNumaNodeCapacity 错误。