このガイドでは、ハイ パフォーマンス コンピューティング (HPC) ワークロードに最適なストレージ ソリューションのベスト プラクティスとガイドラインを提供します。
通常、コストの最適化とパフォーマンスの最適化はトレードオフの関係になっています。 このワークロードのベスト プラクティス シリーズは、Azure VM 上の HPC ワークロードに "最適な" ストレージ ソリューションを実現することに焦点を当てています。 ワークロードの要求が厳しくない場合は、推奨される最適化がすべて必要になるわけではありません。 各推奨事項を評価するときに、パフォーマンスのニーズ、コスト、およびワークロードのパターンを考慮してください。
概要
HPC ワークロード用のストレージは、コア ストレージと、場合によってはアクセラレータで構成されます。
コア ストレージは、データの永続的なホームとして機能します。 豊富なデータ管理機能が含まれており、耐久性、可用性、拡張性、回復性、安全性に優れています。 アクセラレータは、ハイパフォーマンスのデータ アクセスを提供することでコア ストレージを強化します。 アクセラレータはオンデマンドでプロビジョニングできます。また、計算ワークロードからデータへのアクセスがはるかに高速になります。
最初の考慮事項
ゼロから始める場合は、「データ ストア モデルについて」を参照してデータ ストアを選び、Azure Storage サービスの選択に関する記事または「Azure Storage の概要」を参照してストレージ サービスのオプションを把握してください。
概略
保存する予定のデータ量から始めます。 次に、ワークロードで使用される CPU コア数とファイルのサイズを検討します。 これらの要素は、どのコア ストレージ サービスがワークロードに最適であるか、またパフォーマンスを向上させるためにアクセラレータを使用するかどうかを絞り込むのに役立ちます。
| 構成 | CPU コア | ファイルのサイズ | コア ストレージに関する推奨事項 | アクセラレータに関する推奨事項 |
|---|---|---|---|---|
| 50 TiB 未満 | 該当なし | 該当なし | Azure Files または Azure NetApp Files。 | アクセラレータなし |
| 50 TiB - 5,000 TiB | 500 未満 | 該当なし | Azure Files または Azure NetApp Files。 | アクセラレータなし |
| 50 TiB - 5,000 TiB | 500 超 | 1 MiB 以上 | Azure Standard Blob。 すべてのアクセラレータでサポートされています。また、多くのプロトコルをサポートし、コスト効率に優れています。 | Azure Managed Lustre。 |
| 50 TiB - 5,000 TiB | 500 超 | 1 MiB 未満 | Azure Premium Blob または Azure Standard Blob。 | Azure Managed Lustre。 |
| 50 TiB - 5,000 TiB | 500 超 | 512 KiB 未満 | Azure NetApp Files。 | アクセラレータなし |
| 5,000 TiB 超 | 該当なし | 該当なし | フィールドまたはアカウント チームに問い合わせてください。 |
ソリューションの詳細
デシジョン ツリーを使ってもまだ選択に迷う場合は、以下の各ソリューションの詳細を参考にしてください。
| 解決策 | 最適なパフォーマンスとスケール | データ アクセス (アクセス プロトコル) | 課金モデル | コア ストレージまたはアクセラレータ |
|---|---|---|---|---|
| Azure Standard Blob | 大きなファイルや帯域幅を大量に消費するワークロードに適しています。 | 従来の (ファイル) クラウドネイティブ (REST) HPC アプリに適しています。 データセットへのアクセス、共有、管理が簡単です。 すべてのアクセラレータで機能します。 |
従量課金制となります。 | コア ストレージ。 |
| Azure Premium Blob | Standard Blob よりも優れている IOPS と待機時間。 中規模のファイルが多く、ファイル サイズが混在しているデータセットに適しています。 |
従来の (ファイル) クラウドネイティブ (REST) HPC アプリに適しています。 データセットへのアクセス、共有、管理が簡単です。 すべてのアクセラレータで機能します。 |
従量課金制となります。 | コア ストレージ。 |
| Azure Premium Files | 小規模 (<1,000 コア) に適した容量と帯域幅。 中規模のファイル (>512 KiB) に適した IOPS と待機時間。 |
Linux (NFS) および Windows (SMB) との統合は簡単ですが、NFS と SMB の両方を使用して同じデータにアクセスすることはできません。 | プロビジョニングした分だけ支払います。 | コア ストレージ。 |
| Azure NetApp Files | ミッドレンジのジョブ (1,000 - 10,000 コア) に適した容量と帯域幅。 小さなファイル データセット (<512 KiB) に適した IOPS と待機時間。 小規模で多数のファイルのワークロードに最適。 |
Linux と Windows の統合が容易であり、Linux と Windows の両方を使用するワークフローのマルチプロトコルをサポートします。 | プロビジョニングした分だけ支払います。 | いずれか。 |
| Azure Managed Lustre | すべてのジョブ サイズ (1,000 - >10,000 コア) をサポートする帯域幅。 数千個の中規模のファイル (>512 KiB) に適した IOPS と待機時間。 帯域幅を集中的に使用する読み取りと書き込みのワークロードに最適です。 |
Lustre、CSI。 | プロビジョニングした分だけ支払います。 | スタンドアロン (コア) ストレージとして実行するのに十分な耐久性があり、アクセラレータとして最も高いコスト効率。 |
コア ストレージの価格の比較
高いものから並べると、コア ストレージ オプションの価格は次のとおりです。
- Azure NetApp ファイルズ
- Azure Premium Blob と Azure Premium Files
- Azure Standard Blob
価格の詳細については、Azure 製品の価格に関するページを参照してください。