共用方式為


使用 Microsoft HPC Pack 和隨選 Azure PaaS 計算節點來設定混合式高效能運算 (HPC) 叢集

使用 Microsoft HPC Pack 2016 Update 1(或更新版本)和 Azure 來設定小型混合式高效能運算 (HPC) 叢集。 本文中顯示的叢集包含內部部署 HPC Pack 前端節點,以及您在 Azure 雲端服務中隨選部署的一些計算節點。 接著,您可以在混合式叢集上執行計算作業。

混合式 HPC 叢集

本教學課程示範一種方法,有時稱為叢集「高載至雲端」,以使用可調整、隨選的 Azure 資源來執行計算密集型應用程式。

本教學課程假設先前沒有計算叢集或 HPC Pack 的經驗。 它僅供您快速部署混合式計算叢集,以供示範之用。 如需在生產環境中大規模部署混合式 HPC Pack 叢集的考慮和步驟,請參閱 詳細的指引。 如果您想要使用舊版 HPC Pack,請參閱 HPC Pack 2012 R2 檔

先決條件

  • Azure 訂用帳戶 - 如果您沒有 Azure 訂用帳戶,只要幾分鐘就能建立 免費帳戶

  • 執行 Windows Server 2012 R2 或 Windows Server 2016 的內部部署電腦 - 使用此電腦作為 HPC 叢集的前端節點。 如果您尚未執行 Windows Server,您可以下載並安裝 評估版

    • 計算機應該加入 Active Directory 網域。 為了進行測試,您可以將前端節點計算機設定為域控制器。 若要新增 Active Directory Domain Services 伺服器角色,並將前端節點電腦升級為域控制器,請參閱 Windows Server 的檔。
    • 若要支援 HPC Pack,操作系統必須以下列其中一種語言安裝:英文、日文或中文(簡體中文)。
    • 確認已安裝重要和重大更新。
  • HPC Pack 2016 - 下載 最新版本的安裝套件免費,並將檔案複製到前端節點計算機。

  • 網域帳戶 - 此帳戶必須以前端節點上的本機系統管理員許可權設定,才能安裝 HPC Pack。

  • 埠 443 上的 TCP 連線能力, 從前端節點到 Azure(外接)。

在前端節點上安裝 HPC Pack

您必須先在執行 Windows Server 的內部部署電腦上安裝Microsoft HPC Pack。 這部電腦會成為叢集的前端節點。

  1. 使用具有本機系統管理員許可權的網域帳戶登入前端節點。

  2. 從 HPC Pack 安裝檔案執行 Setup.exe,以啟動 HPC Pack 安裝精靈。

  3. 在 [HPC Pack 2016 安裝程式 畫面上,按兩下 [[新增安裝] 或將新功能新增至現有的安裝

    HPC Pack 2016 安裝程式

  4. 在 [Microsoft軟體使用者合約] 頁面上,按兩下 [下一步]

  5. 在 [選取 [安裝類型] 頁面上,按兩下 [建立新的 HPC 叢集],方法是建立前端節點然後按兩下 [下一步]

  6. 精靈會執行數個安裝前測試。 如果所有測試都通過,請按兩下 [安裝規則] 頁面上的 [下一步]。 否則,請檢閱提供的資訊,並在您的環境中進行任何必要的變更。 然後再次執行測試,或如有必要,請再次啟動安裝精靈。

  7. 在 [HPC DB 組態] 頁面上,確定已針對所有 HPC 資料庫選取 前端節點,然後按兩下 [下一步]

    DB 組態

  8. 接受精靈其餘頁面上的預設選取專案。 在 [[安裝必要元件] 頁面上,按兩下 [安裝

    安裝

  9. 安裝完成之後,請取消核取 [啟動 HPC 叢集管理員],然後按兩下 [完成]。 (您會在稍後的步驟中啟動 HPC 叢集管理員。

    完成

準備 Azure 訂用帳戶

使用 Azure 訂用帳戶 Azure 入口網站中執行下列步驟。 完成這些步驟之後,您可以從內部部署前端節點部署 Azure 節點。

注意

也請記下您的 Azure 訂用帳戶標識碼,以供稍後使用。 在入口網站中 訂用帳戶 中尋找標識碼。

上傳預設管理憑證

舊版 HPC Pack 會在前端節點上安裝自我簽署憑證,稱為預設Microsoft HPC Azure 管理憑證,您可以上傳為 Azure 管理憑證。 但從 HPC Pack 2016 Update 1 起,預設不會提供此憑證,因此您需要準備具有前端節點上命令的自我簽署憑證,並將憑證導出為 tmpfolder\hpccert.cer

New-SelfSignedCertificate -Subject "CN=HPC Pack Management" -KeySpec KeyExchange -TextExtension @("2.5.29.37={text}1.3.6.1.5.5.7.3.1,1.3.6.1.5.5.7.3.2") -CertStoreLocation cert:\LocalMachine\My -KeyExportPolicy Exportable -NotAfter (Get-Date).AddYears(5) -NotBefore (get-Date).AddDays(-1)
  1. 從前端節點電腦,將憑證從 tmpfolder\hpccert.cer 匯入至 LocalMachine\My。 請注意,不像先前的 HPC Pack 版本,您不需要將憑證匯入至 LocalMachine\Trusted Root

  2. 登入 Azure 入口網站

  3. 點選 [訂用帳戶]>your_subscription_name

  4. 按下 [管理憑證],>[上傳],在檔案 tmpfolder\hpccert.cer的前端節點上流覽 。 然後按下 [上傳]

預設 HPC Azure 管理 憑證會出現在管理憑證清單中。

建立 Azure 雲端服務

注意

為了獲得最佳效能,請在相同的地理區域中建立雲端服務和記憶體帳戶(在稍後的步驟中)。

  1. 在入口網站中,按下 雲端服務 (傳統)>+新增

  2. 輸入服務的 DNS 名稱、選擇資源群組和位置,然後按下 [建立

建立 Azure 記憶體帳戶

  1. 在入口網站中,按兩下 [記憶體帳戶 [傳統]>[+新增]。

  2. 輸入帳戶的名稱,然後選取傳統 部署模型

  3. 選擇資源群組和位置,並將其他設定保留為預設值。 然後按下 [建立] 。 您必須在這裡新增或選取具有前置詞的資源群組 Default-Storage-<your_picked_Location> 否則服務將無法找到記憶體帳戶。

設定前端節點

若要使用 HPC Cluster Manager 來部署 Azure 節點和提交作業,請先執行一些必要的叢集設定步驟。

  1. 在前端節點上,啟動 HPC 叢集管理員。 如果 [選擇取前端節點] 對話框出現,請按兩下 [本機計算機]部署To-do List 隨即出現。

  2. 在 [必要的部署工作下,按兩下 [設定您的網络]

    設定網路

  3. 在 [網络設定精靈] 中,選取 [僅 企業網络上的所有節點 (拓撲 5)。 此網路設定是最簡單的示範用途。

    拓撲 5

  4. 按兩下 [[下一步],以接受精靈其餘頁面上的預設值。 然後,在 [檢閱] 索引標籤的 [] 索引卷標上,按兩下 [設定],以完成網路設定。

  5. 在 [部署 To-do List中,按兩下 [提供安裝認證

  6. 在 [安裝認證] 對話框中,輸入您用來安裝 HPC Pack 的網域帳戶認證。 然後按下 [確定] [確定]

    安裝認證

  7. 在 [部署 To-do List中,按兩下 [設定新節點命名]

  8. 在 [指定節點命名序列] 對話框中,接受預設命名系列,然後按兩下 [確定]。 完成此步驟,即使您在本教學課程中新增的 Azure 節點會自動命名。

    節點命名

  9. 在 [部署 To-do List中,按兩下 [建立節點範本]。 稍後在本教學課程中,您會使用節點範本將 Azure 節點新增至叢集。

  10. 在 [建立節點範本精靈] 中,執行下列動作:

    一個。 在 [選擇節點範本類型] 頁面上,按兩下 [Windows Azure 節點範本],然後按兩下 [下一步]

    節點範本

    b. 按兩下 [[下一步] 接受預設範本名稱。

    c. 在 [[提供訂用帳戶資訊] 頁面上,輸入您的 Azure 訂用帳戶標識碼(可在您的 Azure 帳戶資訊中取得)。 然後,在 管理憑證中,流覽 [預設Microsoft HPC Azure 管理]。 然後按下一步】

    節點範本

    d. 在 [[提供服務資訊] 頁面上,選取您在上一個步驟中建立的雲端服務和記憶體帳戶。 然後按下一步[ 下一步]

    節點範本

    e. 按兩下 [[下一步],在精靈的 [指定 Proxy 節點] 頁面上接受 預設值,[指定背景工作角色],精靈的 [指定啟動腳本] 頁面。 請注意,此文稿會在布建期間執行,再將節點準備好為 offline。 還有兩個登錄可供您微調預設行為。 例如,如果系統管理員將登錄機碼 Microsoft.Hpc.Azure.AzureStartupTaskFailureEnable 設定為 1,部署會等到啟動腳本完成執行,再設定可連線到作業的節點:HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\HPC Name:Microsoft.Hpc.Azure.AzureStartupTaskFailureEnable Type:REG_DWORD; (default is 0)HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\HPC Name:Microsoft.Hpc.Azure.AzureStartupTaskTimeoutSec Type:REG_DWORD; (default is 1800)

    f. 單擊 [[下一步],以接受 [設定Microsoft Azure 虛擬網络] 頁面上 的預設值。 如果您使用 Azure VPN 或 Express Route 搭配強制通道,則必須使用 Azure 內部負載平衡,您只需要從子網中挑選一個有效且免費的靜態 IP。

    節點範本

    g. 按兩下 [[下一步],在 [設定遠端桌面認證]頁面上提供認證。 按兩下 [[下一步] 來設定可用性原則。 如果您要稍後啟用自動成長縮小,請只選擇 Start and stop nodes manually。 然後,在 [檢閱] 索引標籤的 [] 索引卷標上,按兩下 [建立] 來建立節點範本。

    注意

    根據預設,Azure 節點範本包含可供您啟動(布建)和手動停止節點的設定,使用 HPC 叢集管理員,稍後您可以設定 自動成長壓縮。 您可以選擇性地設定排程來自動啟動和停止 Azure 節點。

將 Azure 節點新增至叢集

現在,使用節點範本將 Azure 節點新增至叢集。 將節點新增至叢集會儲存其組態資訊,以便您隨時在雲端服務中啟動(布建)。 只有在實例在雲端服務中執行之後,您的訂用帳戶才會支付 Azure 節點的費用。

請遵循下列步驟來新增兩個小型節點。

  1. 在 HPC 叢集管理員中,按兩下 [節點管理] (在目前版本的 HPC Pack 中稱為 Resource Management),>[新增節點]。

    新增節點

  2. 在 [新增節點精靈] 的 [選取部署方法] 頁面上,按兩下 [[新增 Windows Azure 節點],然後按兩下 [下一步]

    新增 Azure 節點

  3. 在 [指定新節點] 頁面上,選取您先前建立的 Azure 節點範本(預設 預設 azureNode 範本呼叫)。 然後指定大小 Small2 節點,然後按兩下 [下一步]

    指定節點

  4. [完成新增節點精靈] 頁面上,按兩下 [完成] [完成]

    兩個名為 AzureCN-0001AzureCN-0002的 Azure 節點現在會出現在 HPC 叢集管理員中。 兩者都處於 未部署 狀態。

    新增節點

啟動 Azure 節點

當您想要在 Azure 中使用叢集資源時,請使用 HPC Cluster Manager 來啟動 Azure 節點(布建)並讓它們上線。

  1. 在 HPC 叢集管理員中,按兩下 [節點管理] (在目前版本的 HPC Pack 中稱為 資源管理),然後選取 Azure 節點。

  2. 按兩下 [[開始],然後按下 [確定]

    啟動節點

    節點會轉換為 布建 狀態。 檢視布建記錄檔以追蹤布建進度。

    布建節點

  3. 幾分鐘后,Azure 節點會完成布建,且處於脫機 狀態 。 在此狀態下,角色實例正在執行,但尚無法接受叢集作業。

  4. 若要確認角色實例正在執行,請在 Azure 入口網站中,按下 [雲端服務 (傳統)>your_cloud_service_name

    您應該會看到兩個 HpcWorkerRole 實例 (nodes) 在服務中執行。 HPC Pack 也會自動部署兩個 HpcProxy 實例(大小中型)來處理前端節點與 Azure 之間的通訊。

    執行中的實例

  5. 若要讓 Azure 節點上線以執行叢集作業,請選取節點,以滑鼠右鍵按兩下,然後按兩下 [[上線]

    離線節點

    HPC 叢集管理員指出節點處於 Online 狀態。

跨叢集執行命令

若要檢查安裝,請使用 HPC Pack clusrun 命令,在一或多個叢集節點上執行命令或應用程式。 例如,使用 clusrun 來取得 Azure 節點的 IP 組態。

  1. 在前端節點上,以系統管理員身分開啟命令提示字元。

  2. 輸入下列命令:

    clusrun /nodes:azurecn* ipconfig

  3. 如果出現提示,請輸入您的叢集系統管理員密碼。 您應該會看到類似下列的命令輸出。

    克魯斯倫

執行測試作業

現在提交在混合式叢集上執行的測試作業。 此範例是簡單的參數式掃掠作業(一種內部平行計算類型)。 此範例會執行子工作,使用 set /a 命令,將整數新增至本身。 叢集中的所有節點都有助於完成從 1 到 100 的整數子工作。

  1. 在 HPC 叢集管理員中,按兩下 [作業管理]>[新增參數掃掠作業]

    新作業

  2. 在 [新的參數掃掠作業] 對話框中,於 [命令行]中輸入 set /a *+* (覆寫出現的預設命令行)。 保留其餘設定的預設值,然後按兩下 [提交] 提交作業。

    參數掃掠

  3. 當作業完成時,按兩下 [我的掃掠工作] 作業

  4. 按兩下 [檢視工作],然後按兩下子工作以檢視該子工作的匯出輸出。

    工作結果

  5. 若要檢視該子工作執行計算的節點,請按下 [[已設定節點]。 (您的叢集可能會顯示不同的節點名稱。

    工作結果

停止 Azure 節點

試用叢集之後,請停止 Azure 節點,以避免對您的帳戶產生不必要的費用。 此步驟會停止雲端服務,並移除 Azure 角色實例。

  1. 在 HPC 叢集管理員中,於 節點管理 中,選取這兩個 Azure 節點(在舊版 HPC Pack 中稱為 資源管理]。 然後按下 [停止]

    停止節點

  2. 在 [停止 Windows Azure 節點] 對話框中,按兩下 [停止 停止

  3. 節點會轉換成 停止 狀態。 幾分鐘后,HPC 叢集管理員會顯示節點 未部署

    未部署的節點

  4. 若要確認角色實例不再在 Azure 中執行,請在 Azure 入口網站中,按兩下 [雲端服務 [傳統]>your_cloud_service_name。 生產環境中不會部署任何實例。

    這會完成本教學課程。

啟用 Azure 背景工作角色節點的自動縮小

如果您不想手動啟動和停止 Azure 背景工作角色節點,您可以在佇列中有作業時自動啟動節點,並在節點閑置時自動停止節點。

啟用 AutoGrowShrink 屬性

Set-HpcClusterProperty –EnableGrowShrink 1

啟用此屬性之後,您可以再次提交作業,並檢查是否已自動啟動 Azure 背景工作角色節點。 開啟 HPC Cluster Manager,然後移至 [資源 管理] 窗格,選取 azureOperations 檢視作業,您會看到所有 azure 成長壓縮作業。 如需詳細資訊,另請參閱 hpcpack 自動擴大壓縮

後續步驟

  • 瞭解 hpcpack.exe,並 hpcsync.exe 將數據移至雲端節點。
  • 若要以更大的規模設定混合式 HPC Pack 叢集部署,請參閱使用 Microsoft HPC Pack高載至 Azure 背景工作角色實例。
  • 如需在 Azure 中建立 HPC Pack 叢集的其他方式,包括使用 Azure Resource Manager 範本,請參閱 在 Azure開始使用 HPC Pack 叢集。