Azure Stack HCI 23H2 版雲端部署的網路考慮

發行項
06/12/2024

適用於：Azure Stack HCI 版本 23H2

本文討論如何設計和規劃 Azure Stack HCI 版本 23H2 系統網路以進行雲端部署。繼續之前，請先熟悉各種 Azure Stack HCI 網路模式和可用的組態。

網路設計架構

下圖顯示定義 Azure Stack HCI 系統網路設計架構的各種決策和步驟 - 叢集大小、叢集記憶體連線能力、網路流量意圖、管理連線能力，以及網路適配器組態。每個設計決策都會啟用或允許後續步驟中可用的設計選項：

步驟 1：判斷叢集大小

若要協助判斷 Azure Stack HCI 系統的大小，請使用 Azure Stack HCI 大小器工具，您可以在其中定義配置檔，例如虛擬機數目、VM 大小，以及使用 Azure 虛擬桌面、SQL Server 或 AKS 等 VM 的工作負載。

如 Azure Stack HCI 系統伺服器需求一文所述，Azure Stack HCI 系統上支援的伺服器數目上限為 16。完成工作負載容量規劃之後，您應該充分了解在基礎結構上執行工作負載所需的伺服器節點數目。

如果您的工作負載需要四個以上的節點：您無法部署並使用無交換器設定來儲存網路流量。您需要包含支持遠端直接記憶體存取（RDMA）的實體交換器，以處理記憶體流量。如需 Azure Stack HCI 叢集網路架構的詳細資訊，請參閱網路參考模式概觀。
如果您的工作負載需要三個或更少節點：您可以選擇記憶體連線的無開關或切換組態。
如果您打算稍後向外延展至三個以上的節點：您必須使用實體交換器來儲存網路流量。無交換器部署的任何向外延展作業都需要在 Microsoft 未主動驗證的節點之間手動設定網路纜線，作為 Azure Stack HCI 軟體開發週期的一部分。

以下是叢集大小決策的摘要考慮：

Decision	考量
叢集大小（每個叢集的節點數目）	透過 Azure 入口網站或 Azure Resource Manager 範本的無切換設定僅適用於 1、2 或 3 個節點叢集。具有 4 個以上節點的叢集需要記憶體網路流量的實體交換器。
相應放大需求	如果您想要使用協調器向外延展叢集，則必須使用實體交換器作為記憶體網路流量。

步驟 2：判斷叢集記憶體連線能力

如實體網路需求中所述，Azure Stack HCI 支援兩種類型的記憶體網路流量連線：

使用實體網路交換器來處理流量。
使用交叉網路或光纖纜線直接連接它們之間的節點，以進行儲存流量。

每個選項的優點和缺點都記載於上述連結文章中。

如先前所述，您只能在叢集大小為三個或更少節點時，決定這兩個選項。任何具有四個或更多節點的叢集，都會使用網路交換器自動部署以供記憶體使用。

如果叢集少於三個節點，記憶體連線決策會影響您可以在下一個步驟中定義的網路意圖數目和類型。

例如，針對無交換器組態，您必須定義兩個網路流量意圖。使用交叉纜線進行東西部通訊的儲存流量沒有南北連線能力，而且完全與網路基礎結構的其餘部分隔離。這表示您需要定義第二個網路意圖，以管理輸出連線，以及計算工作負載。

雖然每個網路意圖只能使用一個實體網路適配器埠來定義每個網路意圖，但不會提供任何容錯。因此，我們一律建議針對每個網路意圖使用至少兩個實體網路埠。如果您決定使用網路交換器進行記憶體，您可以將所有網路流量分組，包括單一 網路意圖中的記憶體，也就是超 融合或 完全聚合主機 網路組態。

以下是叢集記憶體連線決策的摘要考慮：

Decision	考量
沒有記憶體的交換器	只有 1、2 或 3 個節點叢集僅支援透過 Azure 入口網站或 Resource Manager 範本部署的無切換設定。您可以使用 Azure 入口網站或 Resource Manager 範本來部署 1 或 2 個節點記憶體無交換器叢集。 3 個節點記憶體無交換器叢集只能使用 Resource Manager 範本來部署。無切換部署不支援向外延展作業。部署之後節點數目的任何變更都需要手動設定。使用記憶體無交換器設定時，至少需要 2 個網路意圖。
記憶體的網路交換器	如果您想要使用協調器向外延展叢集，則必須使用實體交換器作為記憶體網路流量。您可以使用此架構搭配介於 1 到 16 之間的任意數目節點。雖然未強制執行，但您可以針對所有網路流量類型使用單一意圖（管理、計算和記憶體）

Decision

考量

沒有記憶體的交換器

只有 1、2 或 3 個節點叢集僅支援透過 Azure 入口網站或 Resource Manager 範本部署的無切換設定。

您可以使用 Azure 入口網站或 Resource Manager 範本來部署 1 或 2 個節點記憶體無交換器叢集。

3 個節點記憶體無交換器叢集只能使用 Resource Manager 範本來部署。

無切換部署不支援向外延展作業。部署之後節點數目的任何變更都需要手動設定。

使用記憶體無交換器設定時，至少需要 2 個網路意圖。

記憶體的網路交換器

如果您想要使用協調器向外延展叢集，則必須使用實體交換器作為記憶體網路流量。

您可以使用此架構搭配介於 1 到 16 之間的任意數目節點。

雖然未強制執行，但您可以針對所有網路流量類型使用單一意圖（管理、計算和記憶體）

下圖摘要說明各種部署可用的記憶體連線選項：

步驟 3：判斷網路流量意圖

針對 Azure Stack HCI，所有部署都依賴網路 ATC 來進行主機網路設定。透過 Azure 入口網站部署 Azure Stack HCI 時，會自動設定網路意圖。若要深入瞭解網路意圖以及如何針對這些意圖進行疑難解答，請參閱常見的網路 ATC 命令。

本節說明網路流量意圖的設計決策含意，以及它們如何影響架構的下一個步驟。針對雲端部署，您可以在四個選項之間選取，將網路流量分組成一或多個意圖。可用的選項取決於叢集中的節點數目，以及所使用的記憶體連線類型。

下列各節將討論可用的網路意圖選項。

網路意圖：將所有流量分組

網路 ATC 會設定包含管理、計算和記憶體網路流量的唯一意圖。指派給此意圖的網路適配器會為所有網路流量共用頻寬和輸送量。

此選項需要記憶體流量的實體交換器。如果您需要無切換架構，就無法使用這種類型的意圖。如果您選取記憶體連線的無開關組態，Azure 入口網站會自動篩選掉此選項。
建議至少使用兩個網路適配器埠，以確保高可用性。
至少需要 10 Gbps 網路介面，才能支援記憶體的 RDMA 流量。

網路意圖：群組管理和計算流量

網路 ATC 會設定兩個意圖。第一個意圖包括管理和計算網路流量，而第二個意圖只包含記憶體網路流量。每個意圖都必須有一組不同的網路適配器埠。

如果下列專案可供交換和無交換記憶體連線，您可以使用此選項：

每個意圖至少有兩個網路適配器埠可供使用，以確保高可用性。
如果您使用網路交換器進行記憶體，則實體交換器會用於 RDMA。
至少需要 10 Gbps 網路介面，才能支援記憶體的 RDMA 流量。

網路意圖：群組計算和記憶體流量

網路 ATC 會設定兩個意圖。第一個意圖包括計算和記憶體網路流量，而第二個意圖只包含管理網路流量。每個意圖都必須使用不同的網路適配器埠集。

此選項需要記憶體流量的實體交換器，因為相同的埠會與需要南北通訊的計算流量共用。如果您需要無參數設定，就無法使用這種類型的意圖。如果您選取記憶體連線的無開關組態，Azure 入口網站會自動篩選掉此選項。
此選項需要 RDMA 的實體交換器。
建議至少使用兩個網路適配器埠，以確保高可用性。
針對支援 RDMA 流量的計算和記憶體意圖，建議至少 10 Gbps 網路介面。
即使在沒有計算意圖的情況下宣告管理意圖，網路 ATC 也會建立交換器內嵌小組（SET）虛擬交換器，以提供管理網路的高可用性。

網路意圖：自定義設定

只要至少有一個意圖包含管理流量，就使用您自己的設定來定義最多三個意圖。當您需要第二個計算意圖時，建議您使用此選項。此第二個計算意圖需求的案例包括遠端記憶體流量、VM 備份流量，或不同工作負載類型的個別計算意圖。

如果記憶體意圖與其他意圖不同，請使用此選項進行切換和無交換記憶體連線。
當您需要另一個計算意圖，或想要透過不同網路適配器完全分隔不同類型的流量時，請使用此選項。
針對每個意圖使用至少兩個網路適配器埠，以確保高可用性。
針對支援 RDMA 流量的計算和記憶體意圖，建議至少 10 Gbps 網路介面。

下圖摘要說明各種部署可用的網路意圖選項：

步驟 4：判斷管理網路連線能力

在此步驟中，您會定義基礎結構子網位址空間、這些位址如何指派給您的叢集，以及節點是否有任何 Proxy 或 VLAN 識別符需求，以連線到因特網和其他內部網路服務，例如功能變數名稱系統（DNS）或 Active Directory 服務。

開始部署之前，必須先規劃並定義下列基礎結構子網元件，才能預期任何路由、防火牆或子網需求。

網路配接器驅動程式

安裝作業系統之後，以及在節點上設定網路之前，您必須確定網路適配器具有 OEM 或網路介面廠商所提供的最新驅動程式。使用預設的 Microsoft 驅動程式時，網路適配器的重要功能可能不會浮出水面。

管理IP集區

執行 Azure Stack HCI 系統的初始部署時，您必須為預設部署的基礎結構服務定義連續 IP 的 IP 範圍。

若要確保範圍有足夠的IP可供目前和未來的基礎結構服務使用，您必須使用至少六個連續可用的IP位址範圍。這些位址用於 - 叢集IP、Azure 資源網橋 VM 及其元件。

如果您預期在基礎結構網路中執行其他服務，建議您將基礎結構IP的額外緩衝區指派給集區。如果您使用PowerShell部署基礎結構網路之後，如果原本規劃的集區大小已用盡，就可以新增其他IP集區。

在部署期間定義基礎結構子網的IP集區時，必須符合下列條件：

#	Condition
1	IP 範圍必須使用連續IP，而且所有IP都必須在該範圍內使用。部署后無法變更此IP範圍。
2	IP 的範圍不得包含叢集節點管理IP，但必須位於與節點相同的子網上。
3	為管理IP集區定義的預設閘道必須提供因特網的輸出連線能力。
4	DNS 伺服器必須使用 Active Directory 和因特網確保名稱解析。
5	管理IP需要輸出因特網存取。

管理 VLAN 識別碼

我們建議 Azure HCI 叢集的管理子網使用預設 VLAN，在大部分情況下會宣告為 VLAN 標識符 0。不過，如果您的網路需求是針對基礎結構網路使用特定的管理 VLAN，則必須在您打算用於管理流量的實體網路適配器上設定它。

如果您打算使用兩個實體網路適配器進行管理，則必須在兩個適配卡上設定 VLAN。這必須做為伺服器啟動程式設定的一部分，以及註冊到 Azure Arc 之前，以確保您已成功使用此 VLAN 註冊節點。

若要在實體網路適配器上設定 VLAN 識別碼，請使用下列 PowerShell 命令：

此範例會在實體網路適配器 NIC1上設定 VLAN 識別碼 44。

Set-NetAdapter -Name "NIC1" -VlanID 44

設定 VLAN 識別碼，並在實體網路適配器上設定節點的 IP 之後，協調器會從用於管理並儲存的實體網路適配器讀取此 VLAN 標識符值，以便用於 Azure Resource Bridge VM 或任何其他部署期間所需的基礎結構 VM。如果實體交換器 VLAN 未正確路由，則無法設定從 Azure 入口網站進行雲端部署期間的管理 VLAN 標識符，因為這會帶來中斷節點與 Azure 之間連線的風險。

使用虛擬交換器管理 VLAN 識別碼

在某些情況下，需要先建立虛擬交換器，再開始部署。

注意

建立虛擬交換器之前，請務必啟用 Hype-V 角色。如需詳細資訊，請參閱安裝必要的 Windows 角色。

如果需要虛擬交換器設定，而且您必須使用特定的 VLAN 識別碼，請遵循下列步驟：

1.使用建議的命名慣例建立虛擬交換器

Azure Stack HCI 部署依賴網路 ATC 來建立和設定虛擬交換器和虛擬網路適配器，以進行管理、計算和記憶體意圖。根據預設，當網路 ATC 建立意圖的虛擬交換器時，它會使用虛擬交換器的特定名稱。

建議您使用相同的命名慣例來命名虛擬交換器名稱。虛擬交換器的建議名稱如下：

“ConvergedSwitch($IntentName)”，其中 $IntentName 必須符合部署期間輸入入口網站之意圖的名稱。此字串也必須符合用於管理之虛擬網路適配器的名稱，如下一個步驟所述。

下列範例示範如何使用建議的命名慣例搭配 $IntentName使用PowerShell建立虛擬交換器。網路配接器名稱清單是您計劃用於管理和計算網路流量的實體網路適配器清單：

$IntentName = "MgmtCompute"
New-VMSwitch -Name "ConvergedSwitch($IntentName)" -NetAdapterName "NIC1","NIC2" -EnableEmbeddedTeaming $true -AllowManagementOS $true

2.使用所有節點所需的網路 ATC 命名慣例，設定管理虛擬網路適配器

建立虛擬交換器和相關聯的管理虛擬網路適配器之後，請確定網路適配器名稱符合網路 ATC 命名標準。

具體而言，用於管理流量的虛擬網路適配器名稱必須使用下列慣例：

網路配接器和虛擬網路介面器的名稱必須使用 vManagement($intentname)。
此名稱區分大小寫。
$Intentname 可以是任何字串，但必須是虛擬交換器所使用的相同名稱。請確定您在定義Mgmt意圖名稱時，在 Azure 入口網站使用相同的字串。

若要更新管理虛擬網路配接器名稱，請使用下列命令：

$IntentName = "MgmtCompute"

#Rename VMNetworkAdapter for management because during creation, Hyper-V uses the vSwitch name for the virtual network adapter.
Rename-VmNetworkAdapter -ManagementOS -Name "ConvergedSwitch(MgmtCompute)" -NewName "vManagement(MgmtCompute)"

#Rename NetAdapter because during creation, Hyper-V adds the string “vEthernet” to the beginning of the name.
Rename-NetAdapter -Name "vEthernet (ConvergedSwitch(MgmtCompute))" -NewName "vManagement(MgmtCompute)"

3.設定 VLAN 識別碼以管理所有節點的虛擬網路適配器

建立虛擬交換器和管理虛擬網路適配器之後，您可以為此適配卡指定必要的 VLAN 識別碼。雖然有不同的選項可將 VLAN 識別符指派給虛擬網路適配器，但唯一支援的選項是使用 Set-VMNetworkAdapterIsolation 命令。

設定必要的 VLAN 識別符之後，您可以將 IP 位址和閘道指派給管理虛擬網路適配器，以驗證它與其他節點、DNS、Active Directory 和因特網有連線能力。

下列範例示範如何設定管理虛擬網路適配器以使用 VLAN 識別碼 8 ，而不是預設值：

Set-VMNetworkAdapterIsolation -ManagementOS -VMNetworkAdapterName "vManagement($IntentName)" -AllowUntaggedTraffic $true -IsolationMode Vlan -DefaultIsolationID "8"

4.在部署期間參考管理意圖的實體網路適配器

雖然新建立的虛擬網路適配器會在透過 Azure 入口網站部署時顯示為可用，但請務必記住網路組態是以網路 ATC 為基礎。這表示在設定管理或管理和計算意圖時，我們仍然需要選取用於該意圖的實體網路適配器。

注意

請勿選取網路意圖的虛擬網路適配器。

相同的邏輯適用於 Azure Resource Manager 範本。您必須指定您想要用於網路意圖的實體網路適配器，且永遠不會指定虛擬網路配接器。

以下是 VLAN 識別符的摘要考慮：

#	考量
1	在實體網路適配器上必須指定 VLAN 識別符，才能向 Azure Arc 註冊伺服器。
2	在將伺服器註冊至 Azure Arc 之前，必須先使用特定步驟進行虛擬交換器。
3	管理 VLAN 識別碼會在部署期間，從主機設定傳輸至基礎結構 VM。
4	Azure 入口網站部署或 Resource Manager 範本部署沒有 VLAN 識別元輸入參數。

節點和叢集IP指派

針對 Azure Stack HCI 系統，您有兩個選項可指派伺服器節點和叢集 IP 的 IP。

支援靜態和動態主機設定通訊協定（DHCP）通訊協定。
適當的節點IP指派是叢集生命週期管理的關鍵。在 Azure Arc 中註冊節點之前，請先決定靜態和 DHCP 選項。
基礎結構 VM 和服務，例如 Arc 資源網橋和網路控制站，會繼續使用管理 IP 集區中的靜態 IP。這表示即使您決定使用 DHCP 將 IP 指派給節點和叢集 IP，仍需要管理 IP 集區。

下列各節將討論每個選項的影響。

靜態IP指派

如果靜態 IP 用於節點，則會使用管理 IP 集區來取得可用的 IP，並在部署期間自動指派給叢集 IP。

對於不屬於針對管理IP集區定義的IP範圍之節點，請務必使用管理IP IP IP。伺服器節點IP必須位於所定義IP範圍的相同子網上。

我們建議您只為預設閘道指派一個管理IP，並為節點的所有實體網路配接器指派已設定的 DNS 伺服器。這可確保在建立管理網路意圖之後，IP 不會變更。這也可確保節點在部署程式期間保持輸出連線，包括 Azure Arc 註冊期間。

若要避免路由問題，並識別將用於輸出連線和 Arc 註冊的 IP，Azure 入口網站驗證是否已設定多個預設閘道。

如果在OS設定期間建立了虛擬交換器和管理虛擬網路適配器，則必須將節點的管理IP指派給該虛擬網路適配器。

DHCP IP 指派

如果節點的IP是從 DHCP 伺服器取得的，則動態IP也會用於叢集IP。基礎結構 VM 和服務仍然需要靜態 IP，這表示管理 IP 集區位址範圍必須從用於節點和叢集 IP 的 DHCP 範圍中排除。

例如，如果管理IP範圍定義為192.168.1.20/24至192.168.1.30/24的基礎結構靜態IP，則針對子網192.168.1.0/24定義的 DHCP 範圍必須具有相當於管理IP集區的排除範圍，以避免與基礎結構服務發生IP衝突。我們也建議您針對節點IP使用 DHCP 保留。

建立管理意圖之後定義管理IP的程式牽涉到使用為網路意圖選取之第一張實體網路適配器的MAC位址。然後，此 MAC 位址會指派給為了管理目的而建立的虛擬網路適配器。這表示第一個實體網路適配器從 DHCP 伺服器取得的 IP 位址與虛擬網路適配器用來作為管理 IP 的 IP 位址相同。因此，請務必建立節點 IP 的 DHCP 保留。

如果雲端部署期間所使用的網路驗證邏輯偵測到其設定中有預設閘道的多個實體網路介面，將會失敗。如果您需要針對主機 IP 指派使用 DHCP，您必須如上所述預先建立 SET （交換器內嵌小組） 虛擬交換器和管理虛擬網路適配器，因此只有管理虛擬網路適配器會從 DHCP 伺服器取得 IP 位址。

叢集節點IP考慮

以下是IP位址的摘要考慮：

#	考量
1	節點 IP 必須位於所定義管理 IP 集區範圍的相同子網上，不論其是否為靜態或動態位址。
2	管理IP集區不得包含節點IP。使用動態IP指派時，請使用 DHCP 排除專案。
3	盡可能多地對節點使用 DHCP 保留。
4	只有節點IP和叢集IP才支援 DHCP 位址。基礎結構服務會使用來自管理集區的靜態IP。
5	建立管理網路意圖之後，第一張實體網路適配器的 MAC 位址會指派給管理虛擬網路適配器。

Proxy 需求

您最可能需要 Proxy 才能存取內部部署基礎結構內的因特網。 Azure Stack HCI 僅支援未驗證的 Proxy 設定。假設需要因特網存取才能在 Azure Arc 中註冊節點，Proxy 設定必須在註冊伺服器節點之前設定為 OS 設定的一部分。如需詳細資訊，請參閱設定 Proxy 設定。

Azure Stack HCI OS 有三個不同的服務（WinInet、WinHTTP 和環境變數），需要相同的 Proxy 設定，以確保所有 OS 元件都可以存取因特網。用於節點的相同 Proxy 組態會自動傳送至 Arc Resource Bridge VM 和 AKS，以確保他們在部署期間可以存取因特網。

以下是 Proxy 設定的摘要考慮：

#	考量
1	必須先完成 Proxy 設定，才能在 Azure Arc 中註冊節點。
2	相同的 Proxy 組態必須套用到 WinINET、WinHTTP 和環境變數。
3	環境檢查程式可確保 Proxy 設定在所有 Proxy 元件之間保持一致。
4	協調器會在部署期間自動完成 Arc Resource Bridge VM 和 AKS 的 Proxy 設定。
5	僅支援未驗證的 Proxy。

防火牆需求

您目前必須在防火牆中開啟數個因特網端點，以確保 Azure Stack HCI 及其元件可以成功連線到它們。如需必要端點的詳細清單，請參閱防火牆需求。

在 Azure Arc 中註冊節點之前，必須先完成防火牆設定。您可以使用環境檢查程式的獨立版本來驗證防火牆並未封鎖傳送至這些端點的流量。如需詳細資訊，請參閱 Azure Stack HCI 環境檢查工具，以評估 Azure Stack HCI 的部署整備程度。

以下是防火牆的摘要考慮：

#	考量
1	在 Azure Arc 中註冊節點之前，必須先完成防火牆設定。
2	獨立模式中的環境檢查程式可用來驗證防火牆設定。

步驟 5：判斷網路適配器組態

網路適配器可透過網路流量類型（管理、計算和記憶體）來限定它們。當您檢閱 Windows Server 目錄時，Windows Server 2022 認證會指出適配卡符合的網路流量。

在購買 Azure Stack HCI 的伺服器之前，您必須至少有一個適配卡符合管理、計算和記憶體的資格，因為 Azure Stack HCI 上需要這三種流量類型。雲端部署依賴網路 ATC 來設定適當流量類型的網路適配器，因此請務必使用支援的網路適配器。

網路 ATC 所使用的預設值記載於叢集網路設定中。我們建議您使用預設值。如此一來，您可以視需要使用 Azure 入口網站或 Resource Manager 範本來覆寫下列選項：

記憶體 VLAN：將此值設定為記憶體所需的 VLAN。
Jumbo Packets：定義巨型封包的大小。
網路直接存取：如果您想要停用網路適配器的 RDMA，請將此值設定為 false。
網路直接技術：將此值設定為 RoCEv2 或 iWarp。
流量優先順序數據中心橋接（DCB）：設定符合您需求的優先順序。強烈建議您使用預設 DCB 值，因為 Microsoft 和客戶會驗證這些值。

以下是網路配接器設定的摘要考慮：

#	考量
1	盡可能使用預設組態。
2	實體交換器必須根據網路適配器組態來設定。請參閱 Azure Stack HCI 的實體網路需求。
3	請確定 Azure Stack HCI 使用 Windows Server 目錄支援您的網路適配器。
4	接受預設值時，網路 ATC 會自動設定記憶體網路適配器 IP 和 VLAN。這稱為記憶體自動IP組態。在某些情況下，不支援記憶體自動IP，而且您必須使用Resource Manager 樣本宣告每個記憶體網路適配器IP。

下一步

關於 Azure Stack HCI 版本 23H2 部署。

共用方式為