Azure CycleCloud とは
Azure CycleCloud は、Azure 上のハイ パフォーマンス コンピューティング (HPC) 環境を調整および管理するためのエンタープライズ向けツールです。 CycleCloud を使用すると、ユーザーは HPC システムのインフラストラクチャをプロビジョニングし、使い慣れた HPC スケジューラをデプロイし、インフラストラクチャを自動的にスケーリングして、任意の規模でジョブを効率的に実行できます。 CycleCloud を使用して、ユーザーはさまざまな種類のファイル システムを作成し、コンピューティング クラスター ノードにマウントして HPC ワークロードをサポートできます。
Azure CycleCloud は、HPC 管理者と、特定のスケジューラを念頭に置いて HPC 環境をデプロイするユーザーを対象としています。Slurm、PBSPro、LSF、グリッド エンジン、HT-Condor などの一般的に使用されるスケジューラは、すぐにサポートされます。 CycleCloud は、Azure 上のサービスとして Scheduler を提供する、Azure Batchする姉妹製品です。
CycleCloud が他の Azure HPC ソリューションと比較する方法については、 Azure でのハイ パフォーマンス コンピューティング (HPC) に 関するページを参照してください。
Azure CycleCloud を使用する理由
HPC 環境をしばらく運用してきた組織は、通常、特定のスケジューラに関する長年の専門知識と社内ツールを蓄積しており、これらの環境を Azure に再設計またはデプロイするのは困難な場合があります。 CycleCloud は、VM、スケールセット、ネットワーク インターフェイス、ディスクなどの基本的な Azure 構成要素を抽象化します。 これにより、HPC 管理者は、ノードと構成可能なスケジューラで構成される、使い慣れた HPC クラスターに集中できます。
CycleCloud では、サポートされているスケジューラの上に自動スケーリング プラグインがデプロイされるため、ユーザーは複雑な自動スケーリング関数とルーチンを自分で実装する必要はなく、使い慣れたスケジューラ レベルの構成とのみインターフェイスします。
CycleCloud は、豊富な宣言型テンプレート形式を使用して、Azure で完全な HPC 環境を構築するための強力なツールを提供します。 ユーザーは、NFS サーバー、並列ファイル システム、ログイン ホスト、ライセンス サーバー、ディレクトリ サービスを含む環境 (基本的に HPC システムに必要なすべてのコンポーネント) を 1 つの管理プレーン経由でデプロイできます。
CycleCloud は、Azure Monitor や Azure Cost Management ツールなどの Azure サービスと統合されます。
CycleCloud の機能
|
スケジューラに依存しない Slurm、PBS Pro、LSF、Grid Engine、HTCondor などの標準 HPC スケジューラを使用するか、CycleCloud 自動スケーリング プラグインを拡張して独自のスケジューラを操作する |
|
|
コンピューティング リソースの管理 仮想マシンとスケール セットを管理して、動的なワークロード要件を満たすことができる柔軟なコンピューティング リソースのセットを提供する |
|
|
リソースの自動スケーリング ジョブの負荷、可用性、時間の要件に基づいてクラスターのサイズとコンポーネントを自動的に調整する |
|
|
監視と分析 視覚化ツールを使用してパフォーマンス データを収集して分析する |
|
|
テンプレート クラスター CycleCloud テンプレートを使用してクラスター トポロジをコミュニティと共有する |
|
|
機能のカスタマイズと拡張 包括的な RESTful API を使用して、機能のカスタマイズと拡張、独自のスケジューラのデプロイ、既存のワークロード マネージャーのサポートを行います。 |
|
|
既存のワークフローに統合する 組み込みの CLI を使用して既存のワークフローとツールに統合する |
|
|
スケジューラに依存しない Slurm、PBS Pro、LSF、Grid Engine、HTCondor などの標準 HPC スケジューラを使用するか、CycleCloud 自動スケーリング プラグインを拡張して独自のスケジューラを操作する |
|
|
コンピューティング リソースの管理 仮想マシンとスケール セットを管理して、動的なワークロード要件を満たすことができる柔軟なコンピューティング リソースのセットを提供する |
|
|
リソースの自動スケーリング ジョブの負荷、可用性、時間の要件に基づいてクラスターのサイズとコンポーネントを自動的に調整する |
|
|
監視と分析 視覚化ツールを使用してパフォーマンス データを収集して分析する |
|
|
テンプレート クラスター CycleCloud テンプレートを使用してクラスター トポロジをコミュニティと共有する |
|
|
機能のカスタマイズと拡張 包括的な RESTful API を使用して、機能のカスタマイズと拡張、独自のスケジューラのデプロイ、既存のワークロード マネージャーのサポートを行います。 |
|
|
既存のワークフローに統合する 組み込みの CLI を使用して既存のワークフローとツールに統合する |
|
Azure CycleCloud を使用する方法
Azure CycleCloud は、オンプレミスまたは Azure VM で実行できるインストール可能な Web アプリケーションです。 インストールが完了すると、準備済みの Azure サブスクリプションでコンピューティング リソースとデータ リソースを使用するように CycleCloud を構成できます。 CycleCloud には、スケジューラ (PBSPro、LSF、グリッド エンジン、Slurm、HTCondor)、およびファイルシステム (NFS、BeeGFS) 用の公式クラスター テンプレートが多数用意されています。 CycleCloud コミュニティによって提供されるクラスター テンプレートも利用できます。 これらのクラスター テンプレートは変更しないで使用することも、特定のニーズに合わせてカスタマイズすることもできます。
クラスターが作成されると、スケジューラに送信される計算ジョブを処理するように、既定で自動スケーリングするように自動的に構成されます。 CycleCloud 管理機能は、organization内の他のユーザーの CycleCloud クラスターへのアクセスを制御します。
テンプレートと構成スクリプトを使用したツールを使用すると、複雑な HPC 環境をすばやく構築し、organization間で別々のチーム用にレプリケートできます。
CycleCloud にはないものは何ですか?
CycleCloud にはジョブ スケジュール機能はありません。 言い換えると、CycleCloud はスケジューラではなく、ユーザーが独自のスケジューラを Azure にデプロイできるプラットフォームです。 CycleCloud には、一般的に使用されるスケジューラ (PBSPro、Slurm、IBM LSF、グリッド エンジン、HT コンドル) が組み込まれていますが、CycleCloud ユーザーは、提供されている自動スケーリング API の上に独自のスケジューラを頻繁に実装します。
CycleCloud では、クラスター トポロジは指定されません。インストールには、HPC システムを Azure で迅速に稼働させるように設計されたテンプレートが付属していますが、HPC オペレーターはこれらのテンプレートをカスタマイズして、要件を満たすようにインフラストラクチャを調整できます。 Azure HPC コミュニティでは、さまざまな種類のワークロードや業界に合わせて最適化された、意見に即したテンプレートが提供されます。
CycleCloud デプロイ環境の外観
CycleCloud HPC システム全体を Azure インフラストラクチャにデプロイできます。 CycleCloud 自体は、Azure リソース プロバイダー API への送信アクセスを必要とする Azure の VM にアプリケーション サーバーとしてインストールされます。 その後、CycleCloud は HPC システムを形成する VM を起動して管理します。通常は HPC スケジューラ ヘッド ノードとコンピューティング ノードで構成されますが、NFS サーバーや BeeGFS クラスターなどの VM ベースのネットワーク接続ストレージ、ログイン ノード、要塞ホスト、HPC インフラストラクチャをサポートするために必要なその他のコンポーネントも含まれる場合があります。 HPC システムの構成は、CycleCloud テンプレートを通じて完全に定義されます。 さらに、CycleCloud HPC 環境では、Azure NetApp Files、Azure HPC Cache、Azure Active Directory ドメイン Service などの他の PaaS サービスを利用できます。