ジョブが Azure HPC Cache に適しているかどうか

  • [アーティクル]

Azure HPC Cache を使用すると、さまざまな分野で、ハイ パフォーマンス コンピューティング ジョブのデータへのアクセスを高速化できます。 ただし、一部の種類のワークフローには適していません。 この記事では、HPC Cache がニーズに適したオプションかどうかを判断する方法のガイドラインを示します。

また、「概要」の記事では、Azure HPC Cache をいつ使用するかの概要とユース ケースのいくつかの例を示しています。

また、NFS でマウントされた BLOB ストレージを効果的に使用する方法については、この記事も参照してください。

NFS バージョン 3.0 アプリケーション

Azure HPC Cache では、NFS 3.0 クライアントのみがサポートされます。

高い読み取り/書き込みの比率

コンピューティング クライアントが書き込みよりも読み取りを行うワークロードは、通常、キャッシュの候補として適しています。 たとえば、読み取り/書き込みの比率が 80/20 または 70/30 の場合、Azure HPC Cache を使用すると、頻繁に要求されるファイルをリモート ストレージから何度も取り込むのではなく、キャッシュから提供できます。

ファイルを取り込んで初めてキャッシュに格納すると、ストレージに対して直接通常のクライアント要求を行うよりも待機時間がわずかに増加します。そのため、クライアントが次に同じファイルを要求したときに効率が向上します。 これは、特に大きなファイルの場合に当てはまります。 各クライアント要求が一意である場合、HPC Cache の影響は限定的です。 しかし、ファイルが大きいほど、最初のアクセス後に時間の経過と共にパフォーマンスが向上します。

ファイルベースの分析ワークロード

Azure HPC Cache は、特にコンピューティング クライアントが Azure 仮想マシンである場合に、ファイルベースのデータを使用し、多数のコンピューティング クライアントで実行されるパイプラインに最適です。 長いファイル アクセス時間が原因で発生する低速または不整合なパフォーマンスを解決するのに役立ちます。

リモート データ アクセス

Azure HPC Cache は、コンピューティング リソースに近い場所に移動できないリモート データにワークロードでアクセスする必要がある場合に、待機時間を短縮するのに役立ちます。 たとえば、レコードが WAN 環境の末端にある場合、別の Azure リージョンにある場合、または顧客データ センターにある場合です。 (これは "ファイル バースト" とも呼ばれます)。

高い要求負荷

多数のクライアントが同時にソースからデータを要求した場合、Azure HPC Cache を使用すると、ファイル アクセスを高速化できます。 たとえば、ハイ パフォーマンス コンピューティング クラスターで使用する場合、Azure HPC Cache を使用すると、キャッシュを介した多数の同時要求に対応するスケーラビリティを実現できます。

コンピューティング リソースは Azure に配置されています

Azure 仮想マシンは、ハイ パフォーマンス コンピューティング ワークロードに対するスケーラブルでコスト効果の高い解決策です。 Azure HPC Cache を使用すると、特に元のデータがリモート システムに格納されている場合に、必要な情報を近くの場所に配置することができます。

顧客が現在のパイプラインを "そのまま" Azure 仮想マシンで実行することを望んでいる場合、Azure HPC Cache では、スケーラビリティを実現するために POSIX ベースの共有ストレージ (またはキャッシュ) ソリューションを提供できます。

Azure HPC Cache を使用すれば、Azure Blob Storage をネイティブに呼び出すために作業パイプラインを再設計する必要はありません。 元のシステム上のデータにアクセスするか、HPC Cache を使用して新しい BLOB コンテナーに移動することができます。

次のステップ