運算子連接點平台必要條件

發行項
08/08/2024

操作員必須先完成必要條件，才能部署運算子連接點平台軟體。其中一些步驟可能會花費較長的時間，因此，檢閱這些必要條件可能會有所幫助。

在運算子連接點執行個體的後續部署中，您可以跳到建立內部部署網路網狀架構和叢集。

Azure 必要條件

第一次或在新的區域中部署運算子連接點時，您必須先建立網路網狀架構控制器，然後建立此處指定的叢集管理員。此外，還必須完成下列工作：

設定使用者、原則、權限和 RBAC
設定資源群組，以為運算子連接點平台建立的邏輯方式放置和分組資源。
建立從 WAN 到 Azure 區域的 ExpressRoute 連線
若要為內部部署裸機電腦啟用適用於端點的 Microsoft Defender，在部署之前，您必須先在運算子連接點訂用帳戶中選取適用於伺服器的 Defender 方案。此處提供其他資訊。

內部部署必要條件

在資料中心部署運算子連接點內部部署執行個體時，可能會牽涉到多種團隊來執行各種職能。必須正確執行下列工作，以確保平台軟體安裝成功。

實體硬體設定

想要利用運算子連接點服務的操作員必須購買、安裝、設定及操作硬體資源。本文件的這一節將說明購買及實作適當硬體系統的必要元件和工作。本節將討論用料表、機架高度圖表和纜線圖，以及組合硬體所需的步驟。

使用用料表 (BOM)

為了確保順暢的操作員體驗，運算子連接點已開發 BOM 來取得服務所需的硬體。此 BOM 是實作環境所需必要元件和數量的完整清單，可成功實作及維護內部部署執行個體。 BOM 的結構為操作員提供一系列庫存單位 (SKU)，可從硬體廠商訂購。本文件稍後會討論 SKU。

使用高度圖表

機架高度圖表是一個圖形參考，示範伺服器和其他元件如何裝入組裝和設定好的機架。作為整體建置指示的一部分，將會提供機架標高圖。這將有助於操作員正確設置及安裝服務作業所需的所有硬體元件。

纜線圖

纜線圖是纜線連接的圖形表示法，需要這些纜線連接才能為機架內安裝的元件提供網路服務。遵循纜線圖可確保在組建中正確實作各種元件。

如何根據 SKU 下單

SKU 定義

SKU 是一種庫存管理和追蹤方法，允許將多個元件分組成單一指示項。 SKU 可讓操作員透過指定一個 SKU 號碼來訂購所有必要的元件。 SKU 可加速操作員與廠商的互動，同時減少因複雜組件清單而導致的訂購錯誤。

提交 SKU 型訂單

運算子連接點已與 Dell、Pure Storage 和 Arista 等廠商建立了一系列 SKU，操作員可在提交訂單時參考。因此，操作員只需要根據運算子連接點提供給廠商的 SKU 資訊來提交訂單，以接收組建的正確組件清單。

如何建置實體硬體使用量

實體硬體組建是透過一系列步驟來執行，本節將詳細說明。建置執行之前有三個必要步驟。本節也會討論操作員員工執行組建技能的假設。

訂購和接收特定硬體基礎結構 SKU

在開始建置之前，必須執行適當的 SKU 和硬體交貨至站台的順序。此步驟應該允許足夠的時間。我們建議操作員在程序初期與硬體的供應商通訊，以確保並了解交貨時間範圍。

場地準備

安裝站台能夠在空間、電源和網路方面支援硬體基礎結構。特定站台需求將由為站台購買的 SKU 所定義。此步驟可以在訂單下單之後，以及在收到 SKU 之前完成。

排程資源

建置程序會要求數個不同的員工執行建置，例如工程師提供電源、網路存取和纜線、系統工作人員則組裝機架、交換器和伺服器，諸如此類。為了確保建置能及時完成，建議您根據交貨排程提前排程這些小組成員。

關於建置員工技能的假設

執行組建的員工應能熟練組裝機架、交換器、PDU 和伺服器等系統硬體。提供的指示將討論程序的步驟，同時參考機架高度和纜線圖。

建置程序概觀

如果站台準備完成並經過驗證以支援已訂購的 SKU，則建置程序會在下列步驟中發生：

根據 SKU 的機架高度來組裝機架。機架製造商將提供特定的機架組件指示。
組裝機架之後，請根據高度圖表在機架中安裝網狀架構裝置。
根據纜線圖連接網路介面來連接網狀架構裝置。
根據機架高度圖表組裝並安裝伺服器。
根據機架高度圖表組裝並安裝儲存裝置。
根據纜線圖連接網路介面，以連接伺服器和儲存裝置。
從每個裝置連接電源。
透過運算子連接點和其他廠商所提供的檢查清單檢閱/驗證組建。

如何以視覺化方式檢查實體硬體安裝

建議您在建置程序期間，根據 ANSI/TIA 606 標準或操作員的標準，在所有纜線上加上標籤。建置程序也應該為從交換器連接埠到遠端連線的纜線連接建立反向對應。反向對應可以與纜線圖進行比較，以驗證安裝。

終端伺服器和存放裝置陣列設定

現在實體安裝和驗證已完成，接下來的步驟涉及在設定平台軟體安裝之前所需的預設設定。

設定終端伺服器

終端伺服器已部署並設定如下：

終端伺服器已設定為頻外管理
- 已設定驗證認證
- DHCP 用戶端在頻外管理連接埠上啟用
- 已啟用 HTTP 存取
終端伺服器介面連線到操作員內部部署提供者邊緣路由器 (PES)，並使用 IP 位址和認證進行設定
終端伺服器可從管理 VPN 存取

步驟 1：設定主機名稱

若要設定終端機伺服器的主機名稱，請遵循下列步驟：

在 CLI 中使用下列命令：

sudo ogcli update system/hostname hostname=\"$TS_HOSTNAME\"

參數：

參數名稱	描述
TS_HOSTNAME	終端機伺服器主機名稱

如需詳細資訊，請參閱 CLI 參考。

步驟 2：設定網路

若要設定網路設定，請遵循以下步驟：

在 CLI 中執行下列命令：

sudo ogcli create conn << 'END'
  description="PE1 to TS NET1"
  mode="static"
  ipv4_static_settings.address="$TS_NET1_IP"
  ipv4_static_settings.netmask="$TS_NET1_NETMASK"
  ipv4_static_settings.gateway="$TS_NET1_GW"
  physif="net1"
  END
sudo ogcli create conn << 'END'
  description="PE2 to TS NET2"
  mode="static"
  ipv4_static_settings.address="$TS_NET2_IP"
  ipv4_static_settings.netmask="$TS_NET2_NETMASK"
  ipv4_static_settings.gateway="$TS_NET2_GW"
  physif="net2"
  END

參數：

參數名稱	描述
TS_NET1_IP	終端伺服器 PE1 至 TS NET1 IP
TS_NET1_NETMASK	終端伺服器 PE1 至 TS NET1 網路遮罩
TS_NET1_GW	終端伺服器 PE1 至 TS NET1 閘道
TS_NET2_IP	終端伺服器 PE2 至 TS NET2 IP
TS_NET2_NETMASK	終端伺服器 PE2 至 TS NET2 網路遮罩
TS_NET2_GW	終端伺服器 PE2 至 TS NET2 閘道

注意

請務必將這些參數取代為適當的值。

步驟 3：清除 net3 介面 (如果存在)

若要清除 net3 介面，請遵循下列步驟：

使用下列命令檢查實體介面 net3 和「預設 IPv4 靜態位址」上設定的任何介面：

ogcli get conns 
**description="Default IPv4 Static Address"**
**name="$TS_NET3_CONN_NAME"**
**physif="net3"**

參數：

參數名稱	描述
TS_NET3_CONN_NAME	終端伺服器 NET3 連線名稱

如果介面存在，請將其移除：

ogcli delete conn "$TS_NET3_CONN_NAME"

注意

請務必將這些參數取代為適當的值。

步驟 4：設定支援管理使用者

若要設定支援管理使用者，請遵循下列步驟：

針對每個使用者，在 CLI 中執行下列命令：

ogcli create user << 'END'
description="Support Admin User"
enabled=true
groups[0]="admin"
groups[1]="netgrp"
hashed_password="$HASHED_SUPPORT_PWD"
username="$SUPPORT_USER"
END

參數：

參數名稱	描述
SUPPORT_USER	支援系統管理員使用者
HASHED_SUPPORT_PWD	編碼的支援系統管理員使用者密碼

注意

請務必將這些參數取代為適當的值。

步驟 5：為管理使用者新增 sudo 支援

若要為管理使用者新增 sudo 支援，請遵循下列步驟：

開啟 sudoers 設定檔：

sudo vi /etc/sudoers.d/opengear

新增下列幾行以授與 sudo 存取權：

%netgrp ALL=(ALL) ALL
%admin ALL=(ALL) NOPASSWD: ALL

注意

編輯檔案之後，請務必儲存變更。

此設定可讓「netgrp」群組的成員以任意使用者身分執行任意命令，而「系統管理員」群組的成員能以任意使用者身分執行任意命令，且不需要密碼。

步驟 6：確保 LLDP 服務可用性

若要確保終端機伺服器上有 LLDP 服務可用，請遵循下列步驟：

檢查 LLDP 服務是否正在執行：

sudo systemctl status lldpd

如果服務正在執行，您應該會看到類似下列的輸出：

lldpd.service - LLDP daemon
   Loaded: loaded (/lib/systemd/system/lldpd.service; enabled; vendor preset: disabled)
   Active: active (running) since Thu 2023-09-14 19:10:40 UTC; 3 months 25 days ago
     Docs: man:lldpd(8)
 Main PID: 926 (lldpd)
    Tasks: 2 (limit: 9495)
   Memory: 1.2M
   CGroup: /system.slice/lldpd.service
           ├─926 lldpd: monitor.
           └─992 lldpd: 3 neighbors.
Notice: journal has been rotated since unit was started, output may be incomplete.

如果服務未啟動 (執行)，請啟動該服務：

sudo systemctl start lldpd

啟用在重新開機時開始服務：

sudo systemctl enable lldpd

注意

請務必執行這些步驟，以確保 LLDP 服務一律可供使用，並在重新開機時自動啟動。

步驟 7：檢查系統日期/時間

確定系統日期/時間已正確設定，且終端機伺服器的時區為 UTC。

檢查時區設定：

若要檢查目前的時區設定：

ogcli get system/timezone

將時區設定為 UTC：

如果時區未設定為 UTC，您可以使用下列方式進行設定：

ogcli update system/timezone timezone=\"UTC\"

檢查目前的日期/時間：

檢查目前的日期和時間：

date

若日期/時間不正確則進行修正：

若日期/時間不正確，您可以使用下列方法進行修正：

ogcli replace system/time
Reading information from stdin. Press Ctrl-D to submit and Ctrl-C to cancel.
time="$CURRENT_DATE_TIME"

參數：

參數名稱	描述
CURRENT_DATE_TIME	hh:mm MMM DD, YYYY 格式的目前日期時間

注意

請確定系統日期/時間正確，以防止依賴該資訊的應用程式或服務出現問題。

步驟 8：標記終端機伺服器連接埠 (如果遺失/不正確)

若要為終端機伺服器埠加上標籤，請使用下列命令：

ogcli update port "port-<PORT_#>"  label=\"<NEW_NAME>\"	<PORT_#>

參數：

參數名稱	描述
NEW_NAME	連接埠標籤名稱
PORT_#	終端伺服器連接埠號碼

步驟 9：PURE Array 序列連線所需的設定

在 2024 年之前購買的純記憶體數位具有使用變換主控台纜線的修訂 R3 控制器，且需要下列自定義序列埠連線命令：

純 Stoarge R3 控制器：

ogcli update port ports-<PORT_#> 'baudrate="115200"' <PORT_#> Pure Storage Controller console
ogcli update port ports-<PORT_#> 'pinout="X1"' <PORT_#>	Pure Storage Controller console

較新的純記憶體設備，以及從 R3 升級至 R4 純記憶體控制器的系統，將會搭配下列更新的設定使用直接控制台纜線：

純記憶體 R4 控制器：

ogcli update port ports-<PORT_#> 'baudrate="115200"' <PORT_#> Pure Storage Controller console
ogcli update port ports-<PORT_#> 'pinout="X2"' <PORT_#>	Pure Storage Controller console

參數：

參數名稱	描述
PORT_#	終端伺服器連接埠號碼

這些命令會設定傳輸速率和針腳，以連線到純記憶體控制器控制台。

注意

所有其他終端機伺服器埠組態設定都應該維持不變，且預設會使用直接 RJ45 控制台纜線運作。

步驟 10：驗證設定

若要驗證組態設定，請執行下列命令：

ping $PE1_IP -c 3  # Ping test to PE1 //TS subnet +2
ping $PE2_IP -c 3  # Ping test to PE2 //TS subnet +2
ogcli get conns     # Verify NET1, NET2, NET3 Removed
ogcli get users     # Verify support admin user
ogcli get static_routes  # Ensure there are no static routes
ip r                # Verify only interface routes
ip a                # Verify loopback, NET1, NET2
date                # Check current date/time
pmshell             # Check ports labelled

sudo lldpctl
sudo lldpcli show neighbors  # Check LLDP neighbors - should show data from NET1 and NET2

注意

請確定 LLDP 芳鄰如預期般運作，指出成功與 PE1 和 PE2 連線。

範例 LLDP 芳鄰輸出：

-------------------------------------------------------------------------------
LLDP neighbors:
-------------------------------------------------------------------------------
Interface:    net2, via: LLDP, RID: 2, Time: 0 day, 20:28:36
  Chassis:     
    ChassisID:    mac 12:00:00:00:00:85
    SysName:      austx502xh1.els-an.att.net
    SysDescr:     7.7.2, S9700-53DX-R8
    Capability:   Router, on
  Port:         
    PortID:       ifname TenGigE0/0/0/0/3
    PortDescr:    GE10_Bundle-Ether83_austx4511ts1_net2_net2_CircuitID__austxm1-AUSTX45_[CBB][MCGW][AODS]
    TTL:          120
-------------------------------------------------------------------------------
Interface:    net1, via: LLDP, RID: 1, Time: 0 day, 20:28:36
  Chassis:     
    ChassisID:    mac 12:00:00:00:00:05
    SysName:      austx501xh1.els-an.att.net
    SysDescr:     7.7.2, S9700-53DX-R8
    Capability:   Router, on
  Port:         
    PortID:       ifname TenGigE0/0/0/0/3
    PortDescr:    GE10_Bundle-Ether83_austx4511ts1_net1_net1_CircuitID__austxm1-AUSTX45_[CBB][MCGW][AODS]
    TTL:          120
-------------------------------------------------------------------------------

注意

確認輸出符合您的預期，且所有設定都正確無誤。

設定存放裝置陣列

操作員必須在彙總機架內安裝 BOM 和機架高度所指定的存放裝置陣列硬體。
操作員必須提供存放裝置陣列技術人員的資訊，才能讓存放裝置陣列技術人員抵達站台現場以設定設備。
與存放裝置陣列技術人員共用的必要位置特定資料：
- 客戶名稱：
- 實地檢查日期：
- 底座序號：
- 存放裝置陣列陣列主機名稱：
- CLLI 代碼 (通用語言位置識別碼)：
- 安裝地址：
- FIC/機架/網格位置：
提供給操作員的資料，並與存放裝置陣列技術人員共用，這適用於所有安裝：
- Purity 程式碼層級：請參閱支援的 Purity 版本
- 安全模式：已停用
- 陣列時區：UTC
- DNS (網域名稱系統) 伺服器 IP 位址：172.27.255.201
- DNS 網域尾碼：非由操作員在安裝期間設定
- NTP (網路時間通訊協定) 伺服器 IP 位址或 FQDN：172.27.255.212
- Syslog 主要：172.27.255.210
- Syslog 次要：172.27.255.211
- SMTP 閘道 IP 位址或 FQDN：非由操作員在安裝期間設定
- 電子郵件寄件者網域名稱：電子郵件寄件者的網域名稱 (example.com)
- 接收警示的電子郵件位址：非由操作員在安裝期間設定
- Proxy 伺服器和連接埠：非由操作員在安裝期間設定
- 管理：虛擬介面
  - IP 位址：172.27.255.200
  - 閘道：172.27.255.1
  - 子網路遮罩：255.255.255.0
  - MTU：1500
  - Bond：非由操作員在安裝期間設定
- 管理：控制器 0
  - IP 位址：172.27.255.254
  - 閘道：172.27.255.1
  - 子網路遮罩：255.255.255.0
  - MTU：1500
  - Bond：非由操作員在安裝期間設定
- 管理：控制器 1
  - IP 位址：172.27.255.253
  - 閘道：172.27.255.1
  - 子網路遮罩：255.255.255.0
  - MTU：1500
  - Bond：非由操作員在安裝期間設定
- VLAN 編號/首碼：43
- ct0.eth10：非由操作員在安裝期間設定
- ct0.eth11：非由操作員在安裝期間設定
- ct0.eth18：非由操作員在安裝期間設定
- ct0.eth19：非由操作員在安裝期間設定
- ct1.eth10：非由操作員在安裝期間設定
- ct1.eth11：非由操作員在安裝期間設定
- ct1.eth18：非由操作員在安裝期間設定
- ct1.eth19：非由操作員在安裝期間設定
- 要套用的 Pure Tunable：
  - puretune -set PS_ENFORCE_IO_ORDERING 1 "PURE-209441";
  - puretune -set PS_STALE_IO_THRESH_SEC 4 "PURE-209441";
  - puretune -set PS_LANDLORD_QUORUM_LOSS_TIME_LIMIT_MS 0 "PURE-209441";
  - puretune -set PS_RDMA_STALE_OP_THRESH_MS 5000 "PURE-209441";
  - puretune -set PS_BDRV_REQ_MAXBUFS 128 "PURE-209441";

iDRAC IP 指派

部署 Nexus 叢集之前，最好讓操作員在組織硬體機架時設定 iDRAC IP。以下說明如何將伺服器對應至 IP：

根據每個伺服器在機架內的位置指派 IP。
使用為 Fabric 所配置 /19 子網路的第四個 /24 區塊。
從每個機架的底部伺服器依序向上指派 IP，起始為 0.11。
然後繼續將 IP 依序指派給下一個機架底部的第一部伺服器。

範例

Fabric 範圍：10.1.0.0-10.1.31.255 – 第四個 /24 的 iDRAC 子網路為 10.1.3.0/24。

機架	伺服器	iDRAC IP
機架 1	背景工作角色 1	10.1.3.11/24
機架 1	背景工作角色 2	10.1.3.12/24
機架 1	背景工作角色 3	10.1.3.13/24
機架 1	背景工作角色 4	10.1.3.14/24
機架 1	背景工作角色 5	10.1.3.15/24
機架 1	背景工作角色 6	10.1.3.16/24
機架 1	背景工作角色 7	10.1.3.17/24
機架 1	背景工作角色 8	10.1.3.18/24
機架 1	控制器 1	10.1.3.19/24
機架 1	控制器 2	10.1.3.20/24
機架 2	背景工作角色 1	10.1.3.21/24
機架 2	背景工作角色 2	10.1.3.22/24
機架 2	背景工作角色 3	10.1.3.23/24
機架 2	背景工作角色 4	10.1.3.24/24
機架 2	背景工作角色 5	10.1.3.25/24
機架 2	背景工作角色 6	10.1.3.26/24
機架 2	背景工作角色 7	10.1.3.27/24
機架 2	背景工作角色 8	10.1.3.28/24
機架 2	控制器 1	10.1.3.29/24
機架 2	控制器 2	10.1.3.30/24
機架 3	背景工作角色 1	10.1.3.31/24
機架 3	背景工作角色 2	10.1.3.32/24
機架 3	背景工作角色 3	10.1.3.33/24
機架 3	背景工作角色 4	10.1.3.34/24
機架 3	背景工作角色 5	10.1.3.35/24
機架 3	背景工作角色 6	10.1.3.36/24
機架 3	背景工作角色 7	10.1.3.37/24
機架 3	背景工作角色 8	10.1.3.38/24
機架 3	控制器 1	10.1.3.39/24
機架 3	控制器 2	10.1.3.40/24
機架 4	背景工作角色 1	10.1.3.41/24
機架 4	背景工作角色 2	10.1.3.42/24
機架 4	背景工作角色 3	10.1.3.43/24
機架 4	背景工作角色 4	10.1.3.44/24
機架 4	背景工作角色 5	10.1.3.45/24
機架 4	背景工作角色 6	10.1.3.46/24
機架 4	背景工作角色 7	10.1.3.47/24
機架 4	背景工作角色 8	10.1.3.48/24
機架 4	控制器 1	10.1.3.49/24
機架 4	控制器 2	10.1.3.50/24

範例設計，針對三個來自相同 NFC/CM 配對的內部部署執行個體，使用 /16 中的循序 /19 網路：

執行個體	Fabric 範圍	iDRAC 子網路
執行個體 1	10.1.0.0-10.1.31.255	10.1.3.0/24
執行個體 2	10.1.32.0-10.1.63.255	10.1.35.0/24
執行個體 3	10.1.64.0-10.1.95.255	10.1.67.0/24

已安裝其他裝置的預設設定

所有網路網狀架構裝置 (終端伺服器除外) 都會設定為 ZTP 模式
伺服器具有預設的原廠設定

Azure 到 Nexus 叢集之間的防火牆規則。

若要在 Azure 與 Nexus 叢集之間建立防火牆規則，操作員必須開啟指定的連接埠。這可確保使用 TCP (傳輸控制通訊協定) 和 UDP (使用者資料包通訊協定) 的必要服務進行適當的通訊和連線。

序號	來源	Destination	連接埠 (TCP/UDP)	雙向	規則用途
1	Azure 虛擬網路	Cluster	22 TCP	No	若要從 CM 子網路透過 SSH 連線到 undercloud 伺服器。
2	Azure 虛擬網路	Cluster	443 TCP	No	若要存取 undercloud 節點 iDRAC
3	Azure 虛擬網路	Cluster	5900 TCP	No	Gnmi
4	Azure 虛擬網路	Cluster	6030 TCP	No	Gnmi 憑證
5	Azure 虛擬網路	Cluster	6443 TCP	No	存取雲端 K8S 叢集
6	Cluster	Azure 虛擬網路	8080 TCP	Yes	用於將 ISO 映像掛接至 iDRAC、NNF 執行階段升級
7	Cluster	Azure 虛擬網路	3128 TCP	No	連線到全域 Azure 端點的 Proxy
8	Cluster	Azure 虛擬網路	53 TCP 和 UDP	No	DNS
9	Cluster	Azure 虛擬網路	123 UDP	No	NTP
10	Cluster	Azure 虛擬網路	8888 TCP	No	連線到叢集管理員 Webservice
11	Cluster	Azure 虛擬網路	514 TCP 和 UDP	No	用於從叢集管理員存取 undercloud 記錄

安裝最新版的必要 CLI 延伸模組。

  az login
  az account set --subscription $SUBSCRIPTION_ID
  az account show

注意

帳戶必須具有在訂用帳戶中讀取/寫入/發佈的權限

共用方式為

運算子連接點平台必要條件

Azure 必要條件

內部部署必要條件

實體硬體設定

使用用料表 (BOM)

使用高度圖表

纜線圖

如何根據 SKU 下單

SKU 定義

提交 SKU 型訂單

如何建置實體硬體使用量

訂購和接收特定硬體基礎結構 SKU

場地準備

排程資源

關於建置員工技能的假設

建置程序概觀

如何以視覺化方式檢查實體硬體安裝

終端伺服器和存放裝置陣列設定

設定終端伺服器

步驟 1：設定主機名稱

步驟 2：設定網路

步驟 3：清除 net3 介面 (如果存在)

步驟 4：設定支援管理使用者

步驟 5：為管理使用者新增 sudo 支援

步驟 6：確保 LLDP 服務可用性

步驟 7：檢查系統日期/時間

檢查時區設定：

將時區設定為 UTC：

檢查目前的日期/時間：

若日期/時間不正確則進行修正：

步驟 8：標記終端機伺服器連接埠 (如果遺失/不正確)

步驟 9：PURE Array 序列連線所需的設定

步驟 10：驗證設定

設定存放裝置陣列

iDRAC IP 指派

範例

已安裝其他裝置的預設設定

Azure 到 Nexus 叢集之間的防火牆規則。

安裝 CLI 延伸模組並登入您的 Azure 訂用帳戶

Azure 訂閱登入

意見反應

其他資源