在 Azure Stack Edge Pro GPU 裝置上部署高效能網路 VM

發行項
10/26/2023

適用于： Yes for Pro GPU SKU Azure Stack Edge Pro - GPU Yes for Pro 2 SKU Azure Stack Edge Pro 2 Yes for Pro R SKU Azure Stack Edge Pro R Yes for Mini R SKU Azure Stack Edge Mini R

您可以使用 Azure 入口網站、範本和 Azure PowerShell Cmdlet，以及透過 Azure CLI 或 Python 腳本，在 Azure Stack Edge Pro GPU 裝置上建立和管理虛擬機器（VM）。本文說明如何在 Azure Stack Edge Pro GPU 裝置上建立和管理高效能網路（HPN） VM。

關於 HPN VM

HPN VM 專為需要高封包處理速率、低延遲和低抖動的 5G 和多重存取邊緣運算（MEC）網路功能所設計。

HPN VM 依賴非統一記憶體存取（NUMA）架構來提升處理速度。在 NUMA 系統中，CPU 會排列在較小的系統中，稱為節點。每個節點都有一組專用的邏輯處理器和記憶體。 HPN VM 只能從一個 NUMA 節點使用 CPU。

在您的 Azure Stack Edge 裝置上，邏輯處理器會分散在 NUMA 節點上，而且高速網路介面可以連結至這些節點。

為了將相同 NUMA 節點上的效能、處理和傳輸最大化，處理器會配置它們最接近的記憶體，以減少實體距離。如需詳細資訊，請參閱 NUMA 支援。

Azure Stack Edge 的 vCPU 保留專案

若要在 Azure Stack Edge 上部署 HPN VM，您必須在 NUMA 節點上保留 vCPU。保留的 vCPU 數目決定可指派給 HPN VM 的可用 vCPU 數目。

如需每個 HPN VM 大小所使用的核心數目，請參閱支援的 HPN VM 大小。

在 2210 版中，vCPU 會自動保留，且每個 NUMA 節點上支援的 vCPU 數目上限。如果 vCPU 已在舊版中保留給 HPN VM，則現有的保留會延續至 2210 版。如果舊版的 HPN VM 未保留 vCPU，升級至 2210 仍會執行現有的設定。

針對 2209 版和更早版本，您必須先在 NUMA 節點上保留 vCPU，才能在裝置上部署 HPN VM。我們建議使用 NUMA 節點 0 進行 vCPU 保留，因為 NUMA 節點 0 具有 Mellanox 高速網路介面。

HPN VM 部署工作流程

HPN 部署工作流程的高階摘要如下所示：

在裝置上設定網路設定時，請確定您的裝置上有一個與網路介面相關聯的虛擬交換器，可用於 VM 資源和 VM。我們將使用本文的 vswitch 所建立的預設虛擬網路。如有需要，您可以選擇建立和使用不同的虛擬網路。
從Azure 入口網站啟用 VM 的雲端管理。將 VHD 下載到您的裝置，並從 VHD 建立 VM 映射。
針對具有 2209 版和更早版本的 HPN VM，保留裝置上的 vCPU。針對 2210 版，vCPU 會自動保留。
使用在先前步驟中建立的資源：
1. 您所建立的 VM 映射。
2. 與虛擬交換器相關聯的預設虛擬網路。預設虛擬網路名稱與虛擬交換器的名稱相同。
3. 預設虛擬網路的預設子網。
並建立或指定下列資源：
1. 指定 VM 名稱和支援的 HPN VM 大小，並指定 VM 的登入認證。
2. 建立新的資料磁片或連結現有的資料磁片。
3. 設定 VM 的靜態或動態 IP。如果您要提供靜態 IP，請在預設虛擬網路的子網範圍中指定免費 IP。
使用上述資源來建立 HPN VM。

必要條件

在您透過Azure 入口網站在裝置上建立和管理 VM 之前，請確定：

2210
2209 和更早版本

您已設定並啟用 Azure Stack Edge Pro GPU 裝置，如教學課程：使用 GPU 啟用 Azure Stack Edge Pro 中所述。

請確定您已建立虛擬交換器。 VM 的 VM 和資源將會使用此虛擬交換器和相關聯的虛擬網路。如需詳細資訊，請參閱在 Azure Stack Edge Pro GPU 上設定虛擬交換器。
您可以存取您想要建立之 VM 的 VM 映射。若要建立 VM 映射，您可以從 Azure Marketplace 取得映射。
除了上述 VM 建立的必要條件之外，您還需要檢查 HPN VM 的 vCPU 保留。
- 預設 vCPU 保留會使用 SkuPolicy，其會保留 HPN VM 可用的所有 vCPU。
- 如果 vCPU 已在舊版中保留給 HPN VM，例如，在 2209 版或更早版本中，則會將現有的保留轉載至 2210 版本。
- 針對大部分的使用案例，我們建議您使用預設組態。如有需要，您也可以自訂 HPN VM 的 NUMA 設定。若要自訂群組態，請使用 2209 提供的步驟。

使用下列步驟來取得裝置上 SkuPolicy 設定的相關資訊：

連線裝置的 PowerShell 介面。

執行下列命令以查看您裝置上可用的 NUMA 原則：

Get-HcsNumaPolicy

以下為範例輸出：

[DBE-BNVGF33.microsoftdatabox.com]: PS>Get-HcsNumaPolicy

Get-HcsNumaPolicy
PolicyType: AllRoot
HpnLpMapping:
   CPUs: []

PolicyType: SkuPolicy
HpnLpMapping:
   CPUs: [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47]

[DBE-BNVGF33.microsoftdatabox.com]: PS>

執行下列命令以取得裝置上的 vCPU 保留資訊：

此 Cmdlet 將會輸出：

HpnLpMapping：電腦上保留的 NUMA 邏輯處理器索引。
HpnCapableLpMapping：能夠保留的 NUMA 邏輯處理器索引。
HpnLpAvailable：適用于新 HPN VM 部署的 NUMA 邏輯處理器索引。

Get-HcsNumaLpMapping

以下是 SkuPolicy 生效時的範例輸出：

[DBE-BNVGF33.microsoftdatabox.com]: PS>Get-HcsNumaLpMapping
Hardware:
 { Numa Node #0 : CPUs [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23] }
 { Numa Node #1 : CPUs [24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47] }

HpnCapableLpMapping:
 { Numa Node #0 : CPUs [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23] }
 { Numa Node #1 : CPUs [28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47] }

BNVGF33:
HpnLpMapping:
 { Numa Node #0 : CPUs [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23] }
 { Numa Node #1 : CPUs [28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47] }

HpnLpAvailable:
 { Numa Node #0 : CPUs [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23] }
 { Numa Node #1 : CPUs [28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47] }

只有在您想要變更目前的保留，或建立新的保留時，才能繼續進行下列步驟。

執行下列命令，在您的裝置上設定 NUMA 邏輯處理器對應。如果您想要指定自訂邏輯處理器集， -Custom 可以使用參數。 如需指定自訂集合時的規則，請參閱本文中的 2209 和更早的 索引標籤。

執行此命令會停止執行 VM、觸發重新開機，然後重新開機 VM。

Set-HcsNumaLpMapping -UseSkuPolicy

以下為範例輸出：

[DBE-BNVGF33.microsoftdatabox.com]: Set-HcsNumaLpMapping -UseSkuPolicy
Requested Config already exists. No action needed.

[DBE-BNVGF33.microsoftdatabox.com]: PS> Set-HcsNumaLpMapping -UseAllRoot
Requested Configuration requires a reboot...
Machine will reboot in some time. Please be patient.
[DBE-BNVGF33.microsoftdatabox.com]: PS>

執行下列命令來驗證 vCPU 保留專案，並確認 VM 已重新開機。
```
Get-HcsNumaLpMapping
```

您已完成 Azure Stack Edge Pro GPU 裝置上的網路設定，如步驟 1：設定 Azure Stack Edge Pro GPU 裝置中所述。
1. 您已啟用用於計算的網路介面。此網路介面 IP 可用來建立 VM 部署的虛擬交換器。在裝置的本機 UI 中，移至 [計算 ]。選取您將用來建立虛擬交換器的網路介面。
  
  重要
  
  您只能設定一個用於計算的埠。
2. 在網路介面上啟用計算。 Azure Stack Edge Pro GPU 會建立和管理對應至該網路介面的虛擬交換器。
您可以存取您要建立之 VM 的 Windows 或 Linux VHD。

除了用於建立 VM 的上述必要條件之外，請特別針對 HPN VM 設定下列必要條件：

在 Mellanox 介面上保留 HPN VM 的 vCPU。執行下列步驟:
1. 連線裝置的 PowerShell 介面。
2. 識別裝置上執行的所有 VM，包括 Kubernetes VM 和您可能部署的任何 VM 工作負載。
```
get-vm
```
3. 停止所有執行中的 VM。
```
stop-vm -force
```
4. hostname取得裝置的。這應該會傳回對應至裝置主機名稱的字串。
```
hostname
```
5. 取得要保留 HPN VM 的邏輯處理器索引。
```
Get-HcsNumaLpMapping -MapType HighPerformanceCapable -NodeName <Output of hostname command> 
```
  以下為範例輸出：
```
[dbe-1csphq2.microsoftdatabox.com]: PS>hostname 1CSPHQ2
[dbe-1csphq2.microsoftdatabox.com]: P> Get-HcsNumaLpMapping -MapType HighPerformanceCapable -NodeName 1CSPHQ2
 { Numa Node #0 : CPUs [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19] }
 { Numa Node #1 : CPUs [24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39] }

[dbe-1csphq2.microsoftdatabox.com]: PS>
```
6. 保留 HPN VM 的 vCPU。此處保留的 vCPU 數目決定可指派給 HPN VM 的可用 vCPU 數目。如需每個 HPN VM 大小所使用的核心數目，請參閱支援的 HPN VM 大小。在您的裝置上，Mellanox 埠 5 和 6 位於 NUMA 節點 0 上。
```
Set-HcsNumaLpMapping -CpusForHighPerfVmsCommaSeperated <Logical indexes from the Get-HcsNumaLpMapping cmdlet> -AssignAllCpusToRoot $false
```
  以下為範例輸出：
```
[dbe-1csphq2.microsoftdatabox.com]: PS>Set-HcsNumaLpMapping -CpusForHighPerfVmsCommaSeperated "4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39" -AssignAllCpusToRoot $false 

Requested Configuration requires a reboot...

Machine will reboot in some time. Please be patient.

[dbe-1csphq2.microsoftdatabox.com]: PS>
```
  注意
  - 您可以選擇保留範例中所顯示之 NUMA 節點的所有邏輯索引，或索引子集。如果您選擇保留索引的子集，請從連結 Mellanox 網路介面的裝置節點中挑選索引，以獲得最佳效能。針對 Azure Stack Edge Pro GPU，具有 Mellanox 網路介面的 NUMA 節點是 #0。
  - 邏輯索引清單必須包含奇數和偶數的配對序列。例如，（4,5）（6,7）（10,11）。嘗試設定數位清單，例如 5,6,7 或之類的 4,6 配對將無法運作。
  - 連續使用兩 Set-HcsNuma 個命令來指派 vCPU 將會重設組態。此外，如果您已部署 HPN VM，請勿使用 Set-HcsNuma Cmdlet 釋放 CPU。
  注意
  
  從舊版更新至 2210 的裝置，在升級之前會保留其最小根設定。
7. 等候裝置完成重新開機。裝置再次執行之後，請開啟新的 PowerShell 會話。連線裝置的 PowerShell 介面。
8. 驗證 vCPU 保留專案，並確認 VM 已重新開機。
```
Get-HcsNumaLpMapping
```
  輸出不應該顯示您設定的索引。如果您看到您在輸出中設定的索引， Set 則命令未順利完成。在此情況下，請重試命令，如果問題持續發生，請連絡Microsoft 支援服務。
  
  以下是範例輸出。
```
dbe-1csphq2.microsoftdatabox.com]: PS> Get-HcsNumaLpMapping -MapType MinRootAware -NodeName 1CSPHQ2 

{ Numa Node #0 : CPUs [0, 1, 2, 3] } 

{ Numa Node #1 : CPUs [20, 21, 22, 23] } 

[dbe-1csphq2.microsoftdatabox.com]: 

PS> 
```
9. 重新開機您在先前步驟中停止的 VM。
```
start-vm
```

部署 VM

請遵循下列步驟，在您的裝置上建立 HPN VM。

注意

Azure Stack Edge Pro 1 裝置有兩個 NUMA 節點，因此您必須先布建 HPN VM，才能布建非 HPN VM。

在 Azure Stack Edge 資源的Azure 入口網站中，新增 VM 映射。您將在下一個步驟中使用此 VM 映射來建立 VM。您可以選擇 VM 的 Gen1 或 Gen2。
遵循使用此設定需求新增 VM 中的所有步驟。

在 [基本] 索引標籤上，從 HPN 支援的 DSv2 或 F 系列中選取 VM 大小。
完成 VM 建立中的其餘步驟。建立 VM 大約需要 30 分鐘的時間。
成功建立 VM 之後，您會在 [概觀 ] 窗格中看到新的 VM。選取新建立的 VM 以移至 [虛擬機器 ]。

選取 VM 以查看詳細資料。

您將使用網路介面的 IP 位址來連線到 VM。

注意

如果在部署之前未保留 vCPU 給 HPN VM，部署將會失敗，並出現 FabricVmPlacementErrorInsufficientNumaNodeCapacity 錯誤。