什麼是 Azure CycleCloud?

Azure CycleCloud 是一種企業友善工具,用於協調及管理在 Azure 上的高效能運算 (HPC) 環境。 透過 CycleCloud,使用者可以布建 HPC 系統的基礎結構、部署熟悉的 HPC 排程器,以及自動調整基礎結構,以在任何規模有效率地執行作業。 透過 CycleCloud,使用者可以建立不同類型的檔案系統,並將其掛接至計算叢集節點以支援 HPC 工作負載。

Azure CycleCloud 是以 HPC 系統管理員和想要以特定排程器部署 HPC 環境的使用者為目標-- 現成支援常用的排程器,例如 Slurm、PBSPro、LSF、Grid Engine 和 HT-Condor。 CycleCloud 是Azure Batch的一項產品,可提供排程器即 Azure 上的服務。

如需 CycleCloud 與其他 Azure HPC 解決方案的比較方式的相關資訊,請參閱 Azure 上的高效能運算 (HPC)

為什麼應該使用 Azure CycleCloud?

一段時間已操作 HPC 環境的組織通常會累積特定排程器上的數年專業知識和內部工具,並在 Azure 上重新架構或部署這些環境可能會令人困難。 CycleCloud 會抽象化基本的 Azure 建置組塊,例如 VM、擴展集、網路介面和磁片。 這可讓 HPC 系統管理員專注于熟悉的:由節點和可設定的排程器組成的 HPC 叢集。

CycleCloud 會在支援的排程器上部署自動調整外掛程式,因此使用者不需要自行實作複雜的自動調整函式和常式,而是只與熟悉的排程器層級設定介面。

使用豐富的宣告式範本化格式,CycleCloud 提供強大的工具,以在 Azure 上建構完整的 HPC 環境。 使用者可以部署環境,包括 NFS 伺服器、平行檔案系統、登入主機、授權伺服器和目錄服務,基本上是 HPC 系統所需的所有元件-- 透過單一管理平面。

CycleCloud 與 Azure 服務整合,例如 Azure 監視器Azure 成本管理工具

概觀簡介

CycleCloud 功能

排程器無從驗證
使用標準 HPC 排程器,例如 Slurm、PBS Pro、LSF、Grid Engine 和 HTCondor,或擴充 CycleCloud 自動調整外掛程式以使用您自己的排程器
排程器範例
管理計算資源
管理虛擬機器和擴展集,以提供一組彈性的計算資源,以符合您的動態工作負載需求
計算資源範例
自動調整資源
根據作業負載、可用性和時間需求自動調整叢集大小和元件
自動調整範例
監視和分析
使用視覺效果工具來收集和分析效能資料
監視範例
範本叢集
使用 CycleCloud 範本與社群共用叢集拓撲
範本範例
自訂和擴充功能
使用完整的 RESTful API 來自訂和擴充功能、部署您自己的排程器,以及將支援部署到現有的工作負載管理員
REST 範例
整合至現有的工作流程
使用內建 CLI 整合至現有的工作流程和工具
CLI 範例
排程器無從驗證
使用標準 HPC 排程器,例如 Slurm、PBS Pro、LSF、Grid Engine 和 HTCondor,或擴充 CycleCloud 自動調整外掛程式以使用您自己的排程器
排程器範例
管理計算資源
管理虛擬機器和擴展集,以提供一組彈性的計算資源,以符合您的動態工作負載需求
計算資源範例
自動調整資源
根據作業負載、可用性和時間需求自動調整叢集大小和元件
自動調整範例
監視和分析
使用視覺效果工具來收集和分析效能資料
監視範例
範本叢集
使用 CycleCloud 範本與社群共用叢集拓撲
範本範例
自訂和擴充功能
使用完整的 RESTful API 來自訂和擴充功能、部署您自己的排程器,以及將支援部署到現有的工作負載管理員
REST 範例
整合至現有的工作流程
使用內建 CLI 整合至現有的工作流程和工具
CLI 範例

如何使用 Azure CycleCloud?

Azure CycleCloud 是可在內部部署或 Azure VM 中執行的可安裝 Web 應用程式。 安裝之後,您可以設定 CycleCloud,以在備妥的 Azure 訂用帳戶中使用計算和資料資源。 CycleCloud 為排程器提供數個官方叢集範本, (PBSPro、LSF、Grid Engine、Slurm、HTCondor) ,以及檔案系統 (NFS、BeeGFS) 。 您也可以使用 CycleCloud 社群提供的叢集範本。 您可以使用這些未修改的叢集範本,也可以針對特定需求加以自訂。

建立叢集之後,預設會自動設定為自動調整,以處理提交至排程器的計算作業。 CycleCloud 系統管理功能可管理組織中其他使用者對 CycleCloud 叢集的存取權。

使用範本和設定腳本的工具可讓您快速建置複雜的 HPC 環境,並針對整個組織的個別小組複寫這些環境。

何謂 CycleCloud?

CycleCloud 中沒有作業排程功能。 換句話說,CycleCloud 不是排程器,而是可讓使用者將自己的排程器部署到 Azure 的平臺。 CycleCloud 隨附數個常用排程器的內建支援, (PBSPro、Slurm、IBM LSF、Grid Engine 和 HT 在) ,但 CycleCloud 使用者經常在提供的自動調整 API 上實作自己的排程器。

CycleCloud 不指定叢集拓撲;安裝隨附範本,其設計目的是讓 HPC 系統快速在 Azure 中啟動並執行,但 HPC 操作員可以自訂這些範本,以量身打造基礎結構以符合其需求。 Azure HPC 社群提供針對不同類型的工作負載和產業優化的意見化範本。

CycleCloud 部署環境的外觀

CycleCloud 部署

您可以在 Azure 基礎結構上部署整個 CycleCloud HPC 系統。 CycleCloud 本身會安裝為 Azure 中 VM 上的應用程式伺服器,需要對 Azure 資源提供者 API 進行輸出存取。 CycleCloud 接著會啟動和管理構成 HPC 系統的 VM— 這些通常是由 HPC 排程器前端節點 () 和計算節點所組成,但也可能包含 VM 型網路連接儲存體,例如 NFS 伺服器或 BeeGFS 叢集、登入節點、防禦主機,以及支援 HPC 基礎結構所需的其他元件。 HPC 系統的組成完全是透過 CycleCloud 範本來定義。 此外,CycleCloud HPC 環境可以利用其他 PaaS 服務,例如 Azure NetApp Files、Azure HPC Cache 和 Azure Active Directory 網域 服務。

後續步驟