Azure CycleCloud は、Azure 上のハイ パフォーマンス コンピューティング (HPC) 環境を調整および管理するためのエンタープライズ向けツールです。 CycleCloud を使用すると、HPC システム用のインフラストラクチャをプロビジョニングし、使い慣れた HPC スケジューラをデプロイし、任意の規模でジョブを効率的に実行するようにインフラストラクチャを自動的にスケーリングできます。 CycleCloud を使用すると、さまざまな種類のファイル システムを作成し、コンピューティング クラスター ノードにマウントして HPC ワークロードをサポートできます。
特定のスケジューラを使用して HPC 環境を設定する HPC 管理者とユーザーは、Azure CycleCloud を使用します。 Slurm、PBSPro、LSF、グリッド エンジン、HT-Condor などの一般的なスケジューラをサポートしています。 CycleCloud は、 Azure Batch の姉妹製品であり、Azure 上のサービスとしての Scheduler を提供します。
CycleCloud と他の Azure HPC ソリューションの比較方法については、 Azure でのハイ パフォーマンス コンピューティング (HPC) に関するページを参照してください。
バッチおよびHPCワークロードにはAzureサービスを選択します
スケジューリングの経験と、ワークロードのインフラ管理レベルに基づいてサービスを選択してください:
| Service | 最適 | 運用モデル |
|---|---|---|
| Azure Batch | スケジューラソフトウェアの運用を必要としない並列および高スループットのワークロード | Azureはスケジューリングをサービスとして提供しています。 BatchのAPIやツールで構築し、Batchはプール、ノード、ジョブ、タスクを管理します。 |
| Azure CycleCloud | 特定のスケジューラ、カスタムクラスタトポロジー、既存のオンプレミスワークフローとの密接な整合を必要とするHPC環境 | スケジューラとクラスタの設定を展開・管理します。 CycleCloudはAzureインフラストラクチャのプロビジョニングと自動スケーリングを行います。 |
| Azure CycleCloud Workspace for Slurm | HPCやAIワークロード向けにすぐに展開できるSlurm環境を求めるチーム | マーケットプレイスのソリューションは、Azureサブスクリプション内にCycleCloud、Slurm、ネットワーク、ストレージ、アクセスコンポーネントを展開します。 |
現在の環境を決める要素として活用してください:
| 開始ポイント | 好む | なぜでしょうか |
|---|---|---|
| スケジューラ固有のジョブスクリプト、キュー、ポリシー、または統合は必ず保持しなければなりません。 | Azure CycleCloud | CycleCloudでは、サポート可能なスケジューラを運用し、既存のワークフローに合わせてクラスタをカスタマイズできます。 |
| Slurmは必要ですが、あらかじめ定義された環境がトポロジーや統合要件を満たします。 | Slurm の Azure CycleCloud ワークスペース | マーケットプレイスのソリューションは、ユーザーがジョブを提出するために必要なインフラ設計や統合作業を削減します。 |
| APIを通じて独立したタスクやMPIジョブを提出できるアプリケーションを構築しており、スケジューラ固有の動作に依存しません。 | Azure Batch | バッチはスケジューリングをサービスとして提供しているので、チームがスケジューラソフトを操作するわけではありません。 |
Slurmを使う作業量だけを理由にCycleCloudを選ぶのはやめてください。 もし事前に定義されたSlurm環境が要件を満たしているなら、Workspace for Slurmはセットアップ作業を減らします。 ワークロードにスケジューラ依存性がない場合、バッチはスケジューラとクラスタ構成の運用責任を回避できます。
本番環境導入前に、なぜCycleCloudが適しているのか、どの代替案を却下したのか、スケジューラ互換性テスト、クラスタトポロジー、ピーク容量とクオータ、ストレージベンチマーク、障害・回復アプローチ、そして担当者ごとの作業時間とコストを記録してください。 指針については「 HPCクラスターの計画と規模」をご覧ください。
Azure CycleCloud を使用する理由
長年の HPC 環境を持つ組織は、多くの場合、特定のスケジューラに関する深い専門知識とカスタム ツールを構築します。 Azure でこれらのセットアップを移動または再設計すると、圧倒的な影響を受けます。 CycleCloud は、仮想マシン (VM)、スケール セット、ネットワーク インターフェイス、ディスクなどの基本的な Azure 構成要素を簡素化します。 この簡略化により、HPC 管理者は、ノードと、必要に応じて構成できるスケジューラを含む HPC クラスターという使い慣れたことに集中できます。
CycleCloud では、サポートされているスケジューラに自動スケール プラグインが追加されます。 この機能を使用すると、ユーザーは複雑な自動スケール ルーチンを作成する必要はありません。 既に知っているスケジューラ設定を使用するだけです。
CycleCloud は、豊富な宣言型テンプレート形式を使用して、Azure 上に完全な HPC 環境を構築するための強力なツールを提供します。 ユーザーは、NFS サーバー、並列ファイル システム、認証ホスト、ライセンス サーバー、ディレクトリ サービス (基本的に HPC システムに必要なすべてのコンポーネント) を含む環境を 1 つの管理プレーンを介してデプロイできます。
CycleCloud は、Azure Monitor や Microsoft Cost Management ツールなどの Azure サービスと統合されます。
CycleCloud の機能
| 能力 | Image |
|---|---|
|
スケジューラーに依存しない Slurm、PBS Pro、LSF、Grid Engine、HTCondor などの標準的な HPC スケジューラを使用するか、CycleCloud 自動スケール プラグインを拡張して独自のスケジューラを操作する |
|
|
コンピューティング リソースの管理 仮想マシンとスケール セットを管理して、動的なワークロード要件を満たす柔軟なコンピューティング リソースのセットを提供する |
|
|
リソースの自動スケーリング ジョブの負荷、可用性、時間の要件に基づいてクラスターのサイズとコンポーネントを自動的に調整する |
|
|
監視と分析 視覚化ツールを使用してパフォーマンス データを収集および分析する |
|
|
テンプレート クラスター CycleCloud テンプレートを使用してクラスター トポロジをコミュニティと共有する |
|
|
機能のカスタマイズと拡張 包括的な RESTful API を使用して、機能のカスタマイズと拡張、独自のスケジューラのデプロイ、既存のワークロード マネージャーのサポートを行います。 |
|
|
既存のワークフローに統合する 組み込みの CLI を使用して既存のワークフローとツールに統合する |
|
| 能力 | Image |
|---|---|
|
スケジューラーに依存しない Slurm、PBS Pro、LSF、Grid Engine、HTCondor などの標準的な HPC スケジューラを使用するか、CycleCloud 自動スケール プラグインを拡張して独自のスケジューラを操作する |
|
|
コンピューティング リソースの管理 仮想マシンとスケール セットを管理して、動的なワークロード要件を満たす柔軟なコンピューティング リソースのセットを提供する |
|
|
リソースの自動スケーリング ジョブの負荷、可用性、時間の要件に基づいてクラスターのサイズとコンポーネントを自動的に調整する |
|
|
監視と分析 視覚化ツールを使用してパフォーマンス データを収集および分析する |
|
|
テンプレート クラスター CycleCloud テンプレートを使用してクラスター トポロジをコミュニティと共有する |
|
|
機能のカスタマイズと拡張 包括的な RESTful API を使用して、機能のカスタマイズと拡張、独自のスケジューラのデプロイ、既存のワークロード マネージャーのサポートを行います。 |
|
|
既存のワークフローに統合する 組み込みの CLI を使用して既存のワークフローとツールに統合する |
|
Azure CycleCloud を使用する方法
Azure CycleCloud は、オンプレミスまたは Azure VM で実行できるインストール可能な Web アプリケーションです。 インストールが完了したら、準備済みの Azure サブスクリプションでコンピューティング リソースとデータ リソースを使用するように CycleCloud を構成できます。 CycleCloud には、スケジューラ (PBSPro、LSF、Grid Engine、Slurm、HTCondor) とファイルシステム用の公式クラスター テンプレートが多数用意されています。 CycleCloud コミュニティには、クラスター テンプレートも用意されています。 これらのクラスター テンプレートは、変更されていない状態で使用することも、特定のニーズに合わせてカスタマイズすることもできます。
クラスターを作成すると、スケジューラに送信する計算ジョブを処理するように自動スケーリングされます。 CycleCloud 管理機能は、組織内の他のユーザーの CycleCloud クラスターへのアクセスを制御します。
テンプレートと構成スクリプトを含むツールを使用すると、複雑な HPC 環境をすばやく構築し、組織全体のさまざまなチームに対してこれらのセットアップをレプリケートできます。
CycleCloud にはないもの
CycleCloud にはジョブスケジュール機能は含まれていません。 言い換えると、CycleCloud はスケジューラではありません。 代わりに、Azureで HPC リソースをデプロイおよび管理できるプラットフォームです。 CycleCloud には、PBSPro、Slurm、IBM LSF、Grid Engine、HTCondor など、一般的に使用されるスケジューラがいくつか組み込まれています。 ただし、CycleCloud ユーザーは、提供されている自動スケーリング API の上に独自のスケジューラを実装することもできます。
CycleCloud では、特定のクラスター トポロジにロックされません。 Azure で HPC システムをすばやく起動するのに役立つテンプレートが含まれており、ニーズに合わせてこれらのテンプレートをカスタマイズできます。 Azure HPC コミュニティには、さまざまなスケジューラとさまざまな種類のワークロード用に最適化されたテンプレートが用意されています。
CycleCloud でデプロイされた環境の外観
CycleCloud HPC システム全体を Azure インフラストラクチャにデプロイできます。 CycleCloud は、Azure リソース プロバイダー API への送信アクセスを必要とする Azure の VM にアプリケーション サーバーとしてインストールします。 CycleCloud は、HPC システムを構成する VM を起動して管理します。 これらの VM には、通常、スケジューラ ヘッド ノードとコンピューティング ノードが含まれます。 また、ニーズに応じて、NFS サーバー、認証ノード、要塞ホストなどの他のコンポーネントを追加することもできます。 CycleCloud テンプレートで完全なセットアップを定義できます。 NetApp Files や Microsoft Entra ID Services などの Azure サービスに接続することもできます。