ストレージターゲットを追加する

[アーティクル]
03/25/2023

"ストレージターゲット" は、Azure HPC Cache を通じてアクセスされるファイルのバックエンドストレージです。 NFS ストレージ (オンプレミスのハードウェアシステムなど) を追加できるほか、Azure BLOB にデータを格納することができます。

このキャッシュでは、すべてのストレージターゲットが 1 つの集約された名前空間で提供されます。名前空間パスは、ストレージターゲットを追加した後に個別に構成されます。

キャッシュの仮想ネットワークからストレージのエクスポートにアクセスできなければならないことに注意してください。オンプレミスのハードウェアストレージの場合、NFS ストレージへのアクセスに使用されるホスト名を解決できる DNS サーバーの設定が必要になることがあります。詳細については、「DNS アクセス」を参照してください。

キャッシュを作成した後で、ストレージターゲットを追加します。次のプロセスに従います。

キャッシュの作成
ストレージターゲットを定義する (この記事の情報)
クライアント側のパスを作成する (集約された名前空間用)

ストレージターゲットを追加する手順は、使用するストレージの種類によって若干異なります。それぞれの詳細を以下に示します。

適切なストレージターゲットの種類を選択する

NFS、BLOB、および ADLS-NFS の 3 種類のストレージターゲットから選択できます。この HPC Cache プロジェクト中にファイルを格納するために使用するストレージシステムの種類に一致する種類を選択してください。

NFS - ネットワーク接続ストレージ (NAS) システム上のデータにアクセスする NFS ストレージターゲットを作成します。これは、オンプレミスのストレージシステムか、NFS を使用してアクセスできる別のストレージの種類になります。
- 要件: NFS ストレージの要件
- 指示: 新しい NFS ストレージターゲットを追加する
BLOB - BLOB ストレージターゲットを使用して、作業ファイルを新しい Azure BLOB コンテナーに格納します。このコンテナーの読み取りまたは書き込みは、Azure HPC Cache からのみ行われます。
- 前提条件: Blob Storage の要件
- 指示: 新しい Azure Blob Storage ターゲットを追加する
ADLS-NFS - ADLS-NFS ストレージターゲットは、NFS 対応 BLOB コンテナーからデータにアクセスします。標準の NFS コマンドを使用してコンテナーを事前に読み込み、後で NFS を使用してファイルを読み取ることができます。
- 前提条件: ADLS-NFS ストレージの要件
- 指示: 新しい ADLS-NFS ストレージターゲットを追加する

新しい Azure Blob Storage ターゲットを追加する

新しい Blob Storage ターゲットには、空の BLOB コンテナーか、Azure HPC Cache クラウドファイルシステムフォーマットでデータが事前設定されているコンテナーが必要です。 BLOB コンテナーの事前読み込みの詳細については、Azure Blob Storage へのデータの移動に関するページを参照してください。

Azure portal の [ストレージターゲットの追加] ページには、追加する直前に新しい BLOB コンテナーを作成するオプションが含まれています。

Note

NFS でマウントされた BLOB ストレージの場合は、ADLS-NFS ストレージターゲットタイプを使用します。
高スループットのキャッシュ構成では、標準の Azure Blob Storage ターゲットはサポートされていません。代わりに、NFS 対応 BLOB ストレージ (ADLS-NFS) を使用してください。

ポータル
Azure CLI

Azure portal からキャッシュインスタンスを開き、左側のサイドバーにある [ストレージターゲット] をクリックします。

[ストレージターゲット] ページには、既存のターゲットがすべて表示されるほか、新たに追加するためのリンクが表示されます。

[ストレージターゲットの追加] ボタンをクリックします。

新しい Azure Blob Storage ターゲットの情報が事前設定されている [ストレージターゲットの追加] ページのスクリーンショット

Azure BLOB コンテナーを定義するには、次の情報を入力します。

[ストレージターゲット名] - Azure HPC Cache 内でこのストレージターゲットを識別する名前を設定します。
[ターゲットの種類] - [BLOB] を選択します。
[ストレージアカウント] - 使用するアカウントを選択します。

アクセスロールの追加に関するセクションの説明に従って、キャッシュインスタンスにストレージアカウントへのアクセスを認可する必要があります。

使用できるストレージアカウントの種類の詳細については、「Blob Storage の要件」を参照してください。
[ストレージコンテナー] - このターゲットの BLOB コンテナーを選択するか、[新規作成] をクリックします。

完了したら、[OK] をクリックしてストレージターゲットを追加します。

Note

お使いのストレージアカウントファイアウォールが "選択されているネットワーク" のみにアクセスできるように制限されている場合、「BLOB ストレージアカウントのファイアウォール設定を回避する」に記されている一時的な回避策をご利用ください。

アクセス制御ロールをアカウントに追加する

Azure HPC Cache では、Azure Blob Storage ターゲットのストレージアカウントにキャッシュサービスがアクセスすることを承認する場合、Azure ロールベースのアクセス制御 (Azure RBAC) が使用されます。

ストレージアカウント所有者は、"HPC Cache リソースプロバイダー" ユーザーのストレージアカウント共同作成者ロールとストレージ BLOB データ共同作成者ロールを明示的に追加する必要があります。

この作業は、事前に、または Blob Storage ターゲットを追加する portal ページ上のリンクをクリックして実行できます。ロールの設定を Azure 環境経由で反映させるには、最大 5 分かかる場合があることにご留意ください。ロールの追加後、少し待ってからストレージターゲットを作成してください。

ストレージアカウントの [アクセス制御 (IAM)] を開きます。
[追加]>[ロールの割り当ての追加] を選択して、[ロールの割り当ての追加] ページを開きます。

一度に 1 つずつ、次のロールを割り当てます。詳細な手順については、「Azure portal を使用して Azure ロールを割り当てる」を参照してください。

設定	値
ロール	Storage Account Contributor ストレージ BLOB データ共同作成者
アクセスの割り当て先	"HPC Cache リソースプロバイダー" または "StorageCache リソースプロバイダー"

[ロールの割り当ての追加] ページ

前提条件: ストレージアカウントのアクセス

Azure HPC Cache 向けに Azure CLI を設定します。

BLOB ストレージターゲットを追加する前に、ストレージアカウントにアクセスするための適切なロールをキャッシュが備えていること、ファイアウォール設定によってストレージターゲットの作成が許可されることを確認してください。

キャッシュにこれらのロールがない場合、ストレージターゲットの作成は失敗します。

ロールの設定を Azure 環境経由で反映させるとき、最大 5 分かかる場合があります。そのため、ロールの追加後、少し待ってからストレージターゲットを作成してください。

詳細な手順については、Azure CLI を使用して Azure でのロールの割り当てを追加または削除する方法に関するページを参照してください。

また、ストレージアカウントのファイアウォール設定も確認してください。アクセスを "選択されたネットワーク" のみに制限するようにファイアウォールが設定されている場合、ストレージターゲットの作成は失敗する可能性があります。「BLOB ストレージアカウントのファイアウォール設定を回避する」に記載されている回避策を使用してください。

Azure CLI を使用して BLOB ストレージターゲットを追加する

Azure Blob ストレージターゲットを定義するには、az hpc-cache blob-storage-target add インターフェイスを使用します。

Note

現在、Azure CLI コマンドでは、ストレージターゲットを追加するときに、名前空間パスを作成する必要があります。これは、Azure portal インターフェイスで使用されるプロセスとは異なります。

標準のリソースグループおよびキャッシュ名のパラメーターに加えて、ストレージターゲットに対して次のオプションを指定する必要があります。

--name - Azure HPC Cache 内でこのストレージターゲットを識別する名前を設定します。
--storage-account - アカウト ID は以下のような形式になります。/subscriptions/<subscription_id>/resourceGroups/<storage_resource_group>/providers/Microsoft.Storage/storageAccounts/<account_name>

使用できるストレージアカウントの種類の詳細については、「Blob Storage の要件」を参照してください。
--container-name - このストレージターゲットに使用するコンテナーの名前を指定します。
--virtual-namespace-path - このストレージターゲットに使用するクライアント側のファイルパスを設定します。パスを引用符で囲みます。仮想名前空間の機能の詳細については、「集約された名前空間を計画する」を参照してください。

コマンド例:

az hpc-cache blob-storage-target add --resource-group "hpc-cache-group" \
    --cache-name "cache1" --name "blob-target1" \
    --storage-account "/subscriptions/<subscriptionID>/resourceGroups/myrgname/providers/Microsoft.Storage/storageAccounts/myaccountname" \
    --container-name "container1" --virtual-namespace-path "/blob1"

新しい NFS ストレージターゲットを追加する

NFS ストレージターゲットには、このストレージシステムからデータを格納する方法をキャッシュに指示する使用モデルの設定など、BLOB ストレージターゲットとは異なる設定があります。

NFS ターゲットが定義されている [ストレージターゲットの追加] ページのスクリーンショット

Note

NFS ストレージターゲットを作成する前に、ストレージシステムが Azure HPC Cache からアクセス可能であり、アクセス許可要件を満たしていることを確認します。キャッシュからストレージシステムにアクセスできない場合、ストレージターゲットの作成は失敗します。詳細については、「NFS ストレージの要件」と「NAS 構成および NFS ストレージターゲットに関する問題のトラブルシューティング」を参照してください。

使用モデルを選択する

NFS を使用してストレージシステムにアクセスするストレージターゲットを作成するときは、そのターゲットの使用モデルを選択する必要があります。どのようにデータがキャッシュされるかは、このモデルによって決まります。

これらすべての設定の詳細については、使用モデルに関するページを参照してください。

HPC Cache の組み込み使用モデルでは、迅速な応答と、古いデータを取得するリスクとのバランスを取る方法を選択できます。ファイルの読み取り速度を最適化する場合、キャッシュ内のファイルがバックエンドファイルと照合されるかどうかは重要でないかもしれません。または、リモートストレージでファイルが常に最新の状態になっていることを確認する場合は、頻繁にチェックを行うモデルを選択します。

Note

高スループットスタイルのキャッシュでは、読み取りキャッシュのみがサポートされます。

ほとんどの状況は、次の 3 つのいずれかのオプションに当てはまります。

読み取りの負荷が高く、書き込みの頻度が低い - 静的、またはほとんど変更されないファイルへの読み取りアクセスを速くします。

このオプションでは、クライアントにより読み取られるファイルがキャッシュされますが、書き込みは直後にバックエンドストレージを通してクライアントに渡されます。キャッシュに格納されているファイルが NFS ストレージボリューム上のファイルと自動的に比較されることはありません

最初にキャッシュに書き込まず、ストレージシステムでファイルが直接変更されるリスクがある場合、このオプションは使用しないでください。これが発生すると、キャッシュされたバージョンのファイルは、バックエンドファイルと非同期になります。
書き込みが 15% を超えています - このオプションを使用すると、書き込みと読み取りの両方が速くなります。

クライアントの読み取りとクライアントの書き込みの両方がキャッシュされます。キャッシュ内のファイルは、バックエンドストレージシステム上のファイルよりも新しいものと見なされます。キャッシュされたファイルは、8 時間ごとにバックエンドストレージのファイルと自動的に照合されます。キャッシュにある変更後のファイルは、他の変更なしでキャッシュに 1 時間留まった後にバックエンドストレージシステムに書き込まれます。

クライアントがバックエンドストレージボリュームを直接マウントする場合は、このオプションを使用しないでください。これは、古くなったファイルが存在する可能性があるためです。
クライアントは、キャッシュをバイパスして NFS ターゲットに書き込みます - ワークフローのクライアントで、先にキャッシュに書き込まずにストレージシステムにデータが直接書き込まれる場合、またはデータの整合性を最適化する場合、このオプションを選択します。

クライアントによって要求されたファイルがキャッシュされますが、クライアントからのそれらのファイルの変更は、直後にバックエンドストレージシステムに戻されます。キャッシュ内のファイルは、更新があるかどうかを確認するため、バックエンドバージョンと頻繁に照合されます。この検証では、キャッシュではなくストレージシステムでファイルが直接変更された場合に、データの一貫性が維持されます。

その他のオプションの詳細については、使用モデルに関するページを参照してください。

次の表は、すべての使用モデルの違いをまとめたものです。

使用モデル	キャッシュモード	検証タイマー	書き戻しタイマー
読み取り専用キャッシュ	Read	30 秒	なし
読み取り/書き込みキャッシュ	読み取り/書き込み	8 時間	1 時間

Note

バックエンド検証の値は、キャッシュ内のファイルとリモートストレージ内のソースファイルとの自動比較がどの時点で行われるかを示します。ただし、バックエンドストレージシステムで readdirplus 操作を含むクライアント要求を送信することによって、比較をトリガーすることができます。 readdirplus は、ディレクトリメタデータを返す標準的な NFS API です (拡張読み取りとも呼ばれます)。これにより、キャッシュでファイルが比較され更新されます。

Azure portal からキャッシュインスタンスを開き、左側のサイドバーにある [ストレージターゲット] をクリックします。

[ストレージターゲット] ページには、既存のターゲットがすべて表示されるほか、新たに追加するためのリンクが表示されます。

[ストレージターゲットの追加] ボタンをクリックします。

NFS ターゲットが定義されている [ストレージターゲットの追加] ページのスクリーンショット

NFS を使用したストレージターゲットについて次の情報を入力します。

[ストレージターゲット名] - Azure HPC Cache 内でこのストレージターゲットを識別する名前を設定します。
[ターゲットの種類] - [NFS] を選択します。
[ホスト名] - NFS ストレージシステムの IP アドレスまたは完全修飾ドメイン名を入力します (ドメイン名は、名前を解決できる DNS サーバーへのアクセス権がキャッシュにある場合にのみ使用します)。ストレージシステムが複数の IP によって参照されている場合は、複数の IP アドレスを入力できます。
[使用モデル] - ワークフローに基づいていずれかのデータキャッシュプロファイルを選択します (前述の「使用モデルを選択する」を参照)。

完了したら、[OK] をクリックしてストレージターゲットを追加します。

Azure HPC Cache 向けに Azure CLI を設定します。

ストレージターゲットを作成するには、Azure CLI コマンド az hpc-cache nfs-storage-target add を使用します。

Note

キャッシュ名とキャッシュリソースグループに加えて、次の値を指定します。

--name - Azure HPC Cache 内でこのストレージターゲットを識別する名前を設定します。
--nfs3-target - NFS ストレージシステムの IP アドレス (名前を解決できる DNS サーバーへのアクセス権がキャッシュにある場合、ここでは完全修飾ドメイン名を使用できます)。
--nfs3-usage-model - データキャッシュプロファイルの 1 つ (前述の「使用モデルを選択する」を参照)。

使用モデルの名前を確認するには、コマンド az hpc-cache usage-model list を使用します。
--junction - junction パラメーターによって、クライアント側の仮想ファイルパスがストレージシステム上のエクスポートパスにリンクされます。

各パスが同じストレージシステム上の別のエクスポートまたはサブディレクトリを表している限り、1 つの NFS ストレージターゲットに複数の仮想パスを使用できます。 1 つのストレージターゲット上の 1 つのストレージシステムに対するすべてのパスを作成します。

ストレージターゲットではいつでも、名前空間パスを追加したり、編集したりできます。

--junction パラメーターでは次の値が使用されます。
- namespace-path - クライアント側の仮想ファイルパス
- nfs-export - クライアント側パスに関連付けるストレージシステムエクスポート
- target-path (省略可能) - 必要な場合、エクスポートのサブディレクトリ
例: --junction namespace-path="/nas-1" nfs-export="/datadisk1" target-path="/test"

仮想名前空間の機能の詳細については、「集約された名前空間を構成する」を参照してください。

コマンド例:


az hpc-cache nfs-storage-target add --resource-group "hpc-cache-group" --cache-name "doc-cache0629" \
    --name nfsd1 --nfs3-target 10.0.0.4 --nfs3-usage-model WRITE_WORKLOAD_15 \
    --junction namespace-path="/nfs1/data1" nfs-export="/datadisk1" target-path=""

出力:


{- Finished ..
  "clfs": null,
  "id": "/subscriptions/<subscriptionID>/resourceGroups/hpc-cache-group/providers/Microsoft.StorageCache/caches/doc-cache0629/storageTargets/nfsd1",
  "junctions": [
    {
      "namespacePath": "/nfs1/data1",
      "nfsExport": "/datadisk1",
      "targetPath": ""
    }
  ],
  "location": "eastus",
  "name": "nfsd1",
  "nfs3": {
    "target": "10.0.0.4",
    "usageModel": "WRITE_WORKLOAD_15"
  },
  "provisioningState": "Succeeded",
  "resourceGroup": "hpc-cache-group",
  "targetType": "nfs3",
  "type": "Microsoft.StorageCache/caches/storageTargets",
  "unknown": null
}

新しい ADLS-NFS ストレージターゲットを追加する

ADLS-NFS ストレージターゲットは、Network File System (NFS) 3.0 プロトコルをサポートする Azure Blob コンテナーを使用します。

この機能の詳細については、NFS 3.0 プロトコルのサポートに関する記事を参照してください。

ADLS-NFS ストレージターゲットには、BLOB ストレージターゲットおよび NFS ストレージターゲットと類似する点がいくつかあります。次に例を示します。

BLOB ストレージターゲットと同様に、ストレージアカウントにアクセスするためのアクセス許可を Azure HPC Cache に付与する必要があります。
NFS ストレージターゲットと同様に、キャッシュ使用モデルを設定する必要があります。
NFS 対応の BLOB コンテナーには NFS と互換性のある階層構造があるため、データの取り込みにキャッシュを使用する必要はありません。また、コンテナーは他の NFS システムから読み取ることができます。

ADLS-NFS コンテナーにデータを事前に読み込み、それをストレージターゲットとして HPC Cache に追加すると、HPC Cache の外部からデータにアクセスできます。標準の BLOB コンテナーを HPC Cache 上のストレージターゲットとして使用する場合、データは独自仕様の形式で書き込まれ、他の Azure HPC Cache 互換製品からのみアクセスできます。

ADLS-NFS ストレージターゲットを作成する前に、NFS 対応のストレージアカウントを作成する必要があります。 Azure HPC Cache の前提条件に関するページの手順と、NFS を使用した BLOB ストレージのマウントに関するページの説明に従ってください。キャッシュとストレージアカウントに同じ仮想ネットワークを使用しない場合は、キャッシュの VNet でストレージアカウントの VNet にアクセスできることを確認します。

ストレージアカウントを設定した後は、ストレージターゲットの作成時に新しいコンテナーを作成できます。

この構成の詳細については、Azure HPC Cache で NFS マウント済み BLOB ストレージを使用する方法に関するページを参照してください。

ADLS-NFS ストレージターゲットを作成するには、Azure portal の [ストレージターゲットの追加] ページを開きます。 (その他の方法は開発中です。)

ADLS-NFS ターゲットが定義されている [ストレージターゲットの追加] ページのスクリーンショット

次の情報を入力します。

[ストレージターゲット名] - Azure HPC Cache 内でこのストレージターゲットを識別する名前を設定します。
[ターゲットの種類] - ADLS-NFS を選択します。
[ストレージアカウント] - 使用するアカウントを選択します。 NFS 対応のストレージアカウントが一覧に表示されない場合は、前提条件に準拠していること、およびキャッシュからアクセスできることを確認します。

アクセスロールの追加に関するセクションの説明に従って、キャッシュインスタンスにストレージアカウントへのアクセスを認可する必要があります。
[ストレージコンテナー] - このターゲットの NFS 対応 BLOB コンテナーを選択するか、[新規作成] をクリックします。
[使用モデル] - ワークフローに基づいていずれかのデータキャッシュプロファイルを選択します (前述の「使用モデルを選択する」を参照)。

完了したら、[OK] をクリックしてストレージターゲットを追加します。

ストレージターゲットを表示する

Azure portal または Azure CLI を使用して、キャッシュにすでに定義されているストレージターゲットを表示できます。

ポータル
Azure CLI

Azure portal からキャッシュインスタンスを開き、左側のサイドバーの [設定] 見出しの下にある [ストレージターゲット] をクリックします。ストレージターゲットのページには、既存のすべてのターゲットと、それらを追加または削除するためのコントロールが表示されます。

ストレージターゲットの名前をクリックして、その詳細ページを開きます。

詳細については、「ストレージターゲットを管理する」および「ストレージターゲットを編集する」を参照してください。

Azure HPC Cache 向けに Azure CLI を設定します。

az hpc-cache storage-target list オプションを使用すると、キャッシュ用の既存のストレージターゲットを表示することができます。キャッシュ名とリソースグループを指定します (それがグローバルに設定している場合は除きます)。

az hpc-cache storage-target list --resource-group "scgroup" --cache-name "sc1"

特定のストレージターゲットに関する詳細を表示するには、az hpc-cache storage-target show を使用します (ストレージターゲットを名前で指定します)。

例:

$ az hpc-cache storage-target show --cache-name doc-cache0629 --name nfsd1

{
  "clfs": null,
  "id": "/subscriptions/<subscription_ID>/resourceGroups/scgroup/providers/Microsoft.StorageCache/caches/doc-cache0629/storageTargets/nfsd1",
  "junctions": [
    {
      "namespacePath": "/nfs1/data1",
      "nfsExport": "/datadisk1",
      "targetPath": ""
    }
  ],
  "location": "eastus",
  "name": "nfsd1",
  "nfs3": {
    "target": "10.0.0.4",
    "usageModel": "WRITE_WORKLOAD_15"
  },
  "provisioningState": "Succeeded",
  "resourceGroup": "scgroup",
  "targetType": "nfs3",
  "type": "Microsoft.StorageCache/caches/storageTargets",
  "unknown": null
}
$

次のステップ

ストレージターゲットを作成したら、次のタスクを続行して、キャッシュを使用できるように準備します。

設定を更新する必要がある場合、ストレージターゲットを編集できます。

次の方法で共有

ストレージターゲットを追加する

適切なストレージターゲットの種類を選択する

新しい Azure Blob Storage ターゲットを追加する

アクセス制御ロールをアカウントに追加する

前提条件: ストレージアカウントのアクセス

Azure CLI を使用して BLOB ストレージターゲットを追加する

新しい NFS ストレージターゲットを追加する

使用モデルを選択する

NFS ストレージターゲットを作成する

新しい ADLS-NFS ストレージターゲットを追加する

ストレージターゲットを表示する

次のステップ

フィードバック

その他のリソース

次の方法で共有

ストレージ ターゲットを追加する

適切なストレージ ターゲットの種類を選択する

新しい Azure Blob Storage ターゲットを追加する

アクセス制御ロールをアカウントに追加する

新しい NFS ストレージ ターゲットを追加する

使用モデルを選択する

NFS ストレージ ターゲットを作成する

新しい ADLS-NFS ストレージ ターゲットを追加する

ストレージ ターゲットを表示する

次のステップ

フィードバック

その他のリソース

ストレージターゲットを追加する

適切なストレージターゲットの種類を選択する

新しい NFS ストレージターゲットを追加する

NFS ストレージターゲットを作成する

新しい ADLS-NFS ストレージターゲットを追加する

ストレージターゲットを表示する