ローカル NVMe およびボリュームレプリケーションとともに Azure Container Storage を使う

[アーティクル]
07/31/2024

Azure Container Storage は、コンテナー用にネイティブに構築されたクラウドベースのボリューム管理、デプロイ、オーケストレーションサービスです。この記事では、Kubernetes ワークロードのバックエンドストレージとしてローカル NVMe およびボリュームレプリケーションが有効なエフェメラルディスクを使用するように Azure Container Storage を構成する方法について説明します。最後に、ローカル NVMe をストレージとして使用するポッドが得られます。レプリケーションでは、異なるノード上のボリューム間でデータをコピーし、レプリカが失われたときにボリュームを復元し、エフェメラルディスクの回復性を提供します。

エフェメラルディスクとは

アプリケーションでミリ秒未満のストレージ待ち時間が必要な場合は、Azure Container Storage でエフェメラルディスクを使用してパフォーマンス要件を満たすことができます。エフェメラルとは、ディスクが AKS クラスターをホストするローカル仮想マシン (VM) にデプロイされ、Azure ストレージサービスに保存されないことを意味します。 VM を停止または割り当て解除すると、これらのディスク上のデータは失われます。

使用できるエフェメラルディスクには、ローカル NVMe と一時 SSD の 2 種類があります。 NVMe は、ストレージと CPU 間の高速データ転送用に設計されています。アプリケーションが、一時 SSD よりも高い IOPS またはスループットを必要とする場合、またはより多くのストレージ領域を必要とする場合は、NVMe を選択します。 Azure Container Storage は、ローカル NVMe の同期データレプリケーションのみをサポートする点に注意してください。

これらのディスクの一時性という性質により、Azure Container Storage は、エフェメラルディスクを使用する場合、既定で "汎用エフェメラルボリューム" の使用をサポートします。ただし、特定のユースケースでは、データが永続的でない場合でも "永続ボリューム" が必要になる場合があります。たとえば、永続ボリュームを使用するようにハードコーディングされた既存の YAML ファイルまたはデプロイテンプレートを使用する場合や、ワークロードが持続性のためにアプリケーションレベルのレプリケーションをサポートしている場合などです。このような場合は、Azure Container Storage のインストールを更新し、永続ボリューム要求定義に注釈 acstor.azure.com/accept-ephemeral-storage=true を追加して、エフェメラルディスクストレージプールからの永続ボリュームの作成をサポートできます。

前提条件

Azure サブスクリプションをお持ちでない場合は、開始する前に無料アカウントを作成してください。
この記事では、最新バージョン (2.35.0 以降) の Azure CLI が必要です。「Azure CLI のインストール方法」を参照してください。 Azure Cloud Shell の Bash 環境を使用している場合は、最新バージョンが既にインストールされています。 Azure Cloud Shell ではなくローカルでコマンドを実行する場合は、必ず管理特権で実行してください。詳細については、「Azure Cloud Shell の概要」を参照してください。
Kubernetes コマンドラインクライアント kubectl が必要です。 Azure Cloud Shell を使用している場合は既にインストールされています。または、az aks install-cli コマンドを実行してローカルにインストールできます。
Azure Container Storage をまだインストールしていない場合は、Azure Kubernetes Service での Azure Container Storage の使用に関する記事の手順に従ってください。
ターゲットリージョンが Azure Container Storage リージョンでサポート対象になっているかどうかを確認します。

ローカル NVMe をサポートする VM の種類を選択する

エフェメラルディスクは、特定の種類の VM でのみ使用できます。ローカル NVMe を使用する予定の場合は、standard_l8s_v3 などの、ストレージ最適化 VM が必要です。

次のコマンドを実行すると、ノードプールで使用される VM の種類を取得できます。

az aks nodepool list --resource-group <resource group> --cluster-name <cluster name> --query "[].{PoolName:name, VmSize:vmSize}" -o table

出力の例を次に示します。

PoolName    VmSize
----------  ---------------
nodepool1   standard_l8s_v3

各 VM に少なくとも 4 つの仮想 CPU (vCPU) があり、各ノードプールに少なくとも 3 つのノードがあることをお勧めします。

汎用エフェメラルボリュームを作成してアタッチする

次の手順に従って汎用エフェメラルボリュームを作成してアタッチします。

1.ボリュームレプリケーションが有効なストレージプールを作成する

まず、YAML マニフェストファイルで定義することによって、Kubernetes クラスターのストレージの論理グループであるストレージプールを作成します。

az aks create または az aks update コマンドを使って Azure Container Storage を有効にした場合は、記憶域プールが既に存在している可能性があります。 kubectl get sp -n acstor を使って記憶域プールの一覧を取得します。使いたい記憶域プールが既に使用可能な場合は、このセクションをスキップして、「使用可能なストレージクラスを表示する」に進むことができます。

ローカル NVMe とレプリケーションを使用してストレージプールを作成するには、次の手順に従います。 Azure Container Storage は、現在 3 つのレプリカ構成と 5 つのレプリカ構成をサポートしています。 3 つのレプリカを指定する場合、AKS クラスターに少なくとも 3 つのノードが必要です。 5 つのレプリカを指定する場合、少なくとも 5 つのノードが必要です。

Note

エフェメラルディスクストレージプールは使用可能なすべての NVMe ディスクを使用するため、新しいストレージプールを作成する前に、既存のすべてのローカル NVMe ストレージプールを削除する必要があることに注意してください。

任意のテキストエディターを使用して、code acstor-storagepool.yaml などの YAML マニフェストファイルを作成します。

次のコードを貼り付けて、ファイルを保存します。ストレージプールの name の値は何でもかまいません。

apiVersion: containerstorage.azure.com/v1
kind: StoragePool
metadata:
  name: ephemeraldisk-nvme
  namespace: acstor
spec:
  poolType:
    ephemeralDisk:
      diskType: nvme
      replicas: 3

YAML マニフェストファイルを適用してストレージプールを作成します。
```
kubectl apply -f acstor-storagepool.yaml 
```
ストレージプールの作成が完了すると、次のようなメッセージが表示されます。
```
storagepool.containerstorage.azure.com/ephemeraldisk-nvme created
```
このコマンドを実行して、ストレージプールの状態を確認することもできます。 <storage-pool-name> はストレージプールの name の値に置き換えます。この例では、値は ephemeraldisk-nvme になります。
```
kubectl describe sp <storage-pool-name> -n acstor
```

ストレージプールが作成されると、Azure Container Storage により、名前付け規則 acstor-<storage-pool-name> を使用してストレージクラスが自動的に作成されます。

2.使用可能なストレージクラスを表示する

ストレージプールを使用する準備ができたら、ストレージクラスを選択して、ボリュームの作成とデプロイ時にストレージが動的に作成される方式を定義する必要があります。

kubectl get sc を実行して、使用可能なストレージクラスを表示します。 acstor-<storage-pool-name> というストレージクラスがあることを確認します。

$ kubectl get sc | grep "^acstor-"
acstor-azuredisk-internal   disk.csi.azure.com               Retain          WaitForFirstConsumer   true                   65m
acstor-ephemeraldisk-nvme        containerstorage.csi.azure.com   Delete          WaitForFirstConsumer   true                   2m27s

重要

internal が付いているストレージクラスは使用しないでください。これは、Azure Container Storage の動作に必要な内部ストレージクラスです。

3.汎用エフェメラルボリュームを使用してポッドをデプロイする

Fio (フレキシブル I/O テスター) を使用して、汎用エフェメラルボリュームを使用する、ベンチマークおよびワークロードシミュレーション用のポッドを作成します。

任意のテキストエディターを使用して、code acstor-pod.yaml などの YAML マニフェストファイルを作成します。

次のコードを貼り付けて、ファイルを保存します。

kind: Pod
apiVersion: v1
metadata:
  name: fiopod
spec:
  nodeSelector:
    acstor.azure.com/io-engine: acstor
  containers:
    - name: fio
      image: nixery.dev/shell/fio
      args:
        - sleep
        - "1000000"
      volumeMounts:
        - mountPath: "/volume"
          name: ephemeralvolume
  volumes:
    - name: ephemeralvolume
      ephemeral:
        volumeClaimTemplate:
          metadata:
            labels:
              type: my-ephemeral-volume
          spec:
            accessModes: [ "ReadWriteOnce" ]
            storageClassName: acstor-ephemeraldisk-nvme # replace with the name of your storage class if different
            resources:
              requests:
                storage: 1Gi

ボリュームのストレージサイズを変更する際には、そのサイズが単一ノードのエフェメラルディスクの利用可能な容量より小さいことを確認します。「ノードエフェメラルディスク容量を確認する」を参照してください。

YAML マニフェストファイルを適用してポッドをデプロイします。
```
kubectl apply -f acstor-pod.yaml
```
次のような出力が表示されます。
```
pod/fiopod created
```
ポッドが実行されていること、およびエフェメラルボリューム要求がポッドに正常にバインドされていることを確認します。
```
kubectl describe pod fiopod
kubectl describe pvc fiopod-ephemeralvolume
```

fio テストをチェックして、その現在の状態を確認します。

kubectl exec -it fiopod -- fio --name=benchtest --size=800m --filename=/volume/test --direct=1 --rw=randrw --ioengine=libaio --bs=4k --iodepth=16 --numjobs=8 --time_based --runtime=60

ボリュームレプリケーションが有効なローカル NVMe を使用するポッドをデプロイしたので、それを Kubernetes ワークロードに使用できます。

永続ボリュームを作成してアタッチする

エフェメラルディスクストレージプールから永続ボリュームを作成するには、永続ボリューム要求 (PVC) に注釈を含め、データが一時的であっても永続ボリュームを確実に使用できるようにする必要があります。さらに、永続ボリューム要求を作成する前に、クラスターの PersistentVolumeWithAnnotation 値で --ephemeral-disk-volume-type フラグを有効にする必要があります。

次の手順に従って永続ボリュームを作成してアタッチします。

1.Azure Container Storage のインストールの更新

次のコマンドを実行して、エフェメラルディスクストレージプールから永続ボリュームを作成できるように Azure Container Storage のインストールを更新します。

az aks update -n <cluster-name> -g <resource-group> --enable-azure-container-storage ephemeralDisk --storage-pool-option NVMe --ephemeral-disk-volume-type PersistentVolumeWithAnnotation

2.ボリュームレプリケーションが有効なストレージプールを作成する

Note

任意のテキストエディターを使用して、code acstor-storagepool.yaml などの YAML マニフェストファイルを作成します。
次のコードを貼り付けて、ファイルを保存します。ストレージプールの name の値は何でもかまいません。レプリカを「3」または「5」に設定します。
```
apiVersion: containerstorage.azure.com/v1
kind: StoragePool
metadata:
  name: ephemeraldisk-nvme
  namespace: acstor
spec:
  poolType:
    ephemeralDisk:
      diskType: nvme
      replicas: 3
```
YAML マニフェストファイルを適用してストレージプールを作成します。
```
kubectl apply -f acstor-storagepool.yaml 
```
ストレージプールの作成が完了すると、次のようなメッセージが表示されます。
```
storagepool.containerstorage.azure.com/ephemeraldisk-nvme created
```
このコマンドを実行して、ストレージプールの状態を確認することもできます。 <storage-pool-name> はストレージプールの name の値に置き換えます。この例では、値は ephemeraldisk-nvme になります。
```
kubectl describe sp <storage-pool-name> -n acstor
```

3.使用可能なストレージクラスを表示する

kubectl get sc を実行して、使用可能なストレージクラスを表示します。 acstor-<storage-pool-name> というストレージクラスがあることを確認します。

$ kubectl get sc | grep "^acstor-"
acstor-azuredisk-internal   disk.csi.azure.com               Retain          WaitForFirstConsumer   true                   65m
acstor-ephemeraldisk-nvme        containerstorage.csi.azure.com   Delete          WaitForFirstConsumer   true                   2m27s

重要

internal が付いているストレージクラスは使用しないでください。これは、Azure Container Storage の動作に必要な内部ストレージクラスです。

4.永続ボリューム要求の作成

永続ボリューム要求 (PVC) を使用して、ストレージクラスに基づいてストレージを自動的にプロビジョニングします。新しいストレージクラスを使用して PVC を作成するには、次の手順に従います。

任意のテキストエディターを使用して、code acstor-pvc.yaml などの YAML マニフェストファイルを作成します。
次のコードを貼り付けて、ファイルを保存します。 PVC name の値はどのような値にもすることができます。
```
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: ephemeralpvc
  annotations:
    "acstor.azure.com/accept-ephemeral-storage=true"
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: acstor-ephemeraldisk-nvme # replace with the name of your storage class if different
  resources:
    requests:
      storage: 100Gi
```
ボリュームのストレージサイズを変更する際には、そのサイズが単一ノードのエフェメラルディスクの利用可能な容量より小さいことを確認します。「ノードエフェメラルディスク容量を確認する」を参照してください。
YAML マニフェストファイルを適用して PVC を作成します。
```
kubectl apply -f acstor-pvc.yaml
```
次のような出力が表示されます。
```
persistentvolumeclaim/ephemeralpvc created
```
次のコマンドを実行して、PVC の状態を確認できます。
```
kubectl describe pvc ephemeralpvc
```

PVC が作成されると、ポッドで使用できるようになります。

5.ポッドをデプロイして永続ボリュームをアタッチする

Fio (フレキシブル I/O テスター) を使用してベンチマークおよびワークロードシミュレーション用にポッドを作成し、永続ボリュームのマウントパスを指定します。 claimName には、永続ボリューム要求の作成時に使用した name の値を使用します。

任意のテキストエディターを使用して、code acstor-pod.yaml などの YAML マニフェストファイルを作成します。

次のコードを貼り付けて、ファイルを保存します。

kind: Pod
apiVersion: v1
metadata:
  name: fiopod
spec:
  nodeSelector:
    acstor.azure.com/io-engine: acstor
  volumes:
    - name: ephemeralpv
      persistentVolumeClaim:
        claimName: ephemeralpvc
  containers:
    - name: fio
      image: nixery.dev/shell/fio
      args:
        - sleep
        - "1000000"
      volumeMounts:
        - mountPath: "/volume"
          name: ephemeralpv

YAML マニフェストファイルを適用してポッドをデプロイします。
```
kubectl apply -f acstor-pod.yaml
```
次のような出力が表示されます。
```
pod/fiopod created
```
ポッドが実行されていること、および永続ボリューム要求がポッドに正常にバインドされていることを確認します。
```
kubectl describe pod fiopod
kubectl describe pvc ephemeralpvc
```

fio テストをチェックして、その現在の状態を確認します。

kubectl exec -it fiopod -- fio --name=benchtest --size=800m --filename=/volume/test --direct=1 --rw=randrw --ioengine=libaio --bs=4k --iodepth=16 --numjobs=8 --time_based --runtime=60

ボリュームレプリケーションが有効なローカル NVMe を使用するポッドをデプロイしたので、それを Kubernetes ワークロードに使用できます。

ボリュームとストレージプールを管理する

このセクションでは、エフェメラルディスクの利用可能な容量を確認する方法、永続ボリュームをデタッチして再アタッチする方法、ストレージプールを拡張または削除する方法、パフォーマンスを最適化する方法を学習します。

ノードエフェメラルディスク容量を確認する

エフェメラルボリュームは、単一ノードに割り当てられます。エフェメラルボリュームのサイズを構成する際には、そのサイズを単一ノードのエフェメラルディスクの利用可能な容量より小さくする必要があります。

次のコマンドを実行して、単一ノードのエフェメラルディスクの利用可能な容量を確認します。

$ kubectl get diskpool -n acstor
NAME                                CAPACITY      AVAILABLE     USED        RESERVED    READY   AGE
ephemeraldisk-nvme-diskpool-jaxwb   75660001280   75031990272   628011008   560902144   True    21h
ephemeraldisk-nvme-diskpool-wzixx   75660001280   75031990272   628011008   560902144   True    21h
ephemeraldisk-nvme-diskpool-xbtlj   75660001280   75031990272   628011008   560902144   True    21h

この例では、単一ノードのエフェメラルディスクの利用可能な容量は、75031990272 バイトまたは 69 GiB です。

永続ボリュームをデタッチして再アタッチする

永続ボリュームをデタッチするには、永続ボリュームがアタッチされているポッドを削除します。

kubectl delete pods <pod-name>

永続ボリュームを再アタッチするには、「ポッドをデプロイして永続ボリュームをアタッチする」の説明に従って、YAML マニフェストファイル内の永続ボリューム要求名を参照するだけです。

永続ボリューム要求がバインドされている永続ボリュームを確認するには、次を実行します。

kubectl get pvc <persistent-volume-claim-name>

ストレージプールを拡張する

ローカル NVMe によってサポートされるストレージプールを拡張すると、ダウンタイムなしで迅速にスケールアップできます。ストレージプールの縮小は現在サポートされていません。

エフェメラルディスクによってサポートされるストレージプールは AKS クラスターノード (VM) 上のローカルストレージリソースを使用するため、ストレージプールを拡張するには、クラスターに別のノードを追加する必要があります。ストレージプールを拡張するには、次の手順に従います。

次のコマンドを実行して、AKS クラスターにノードを追加します。 <cluster-name>、<nodepool name>、および <resource-group-name> を独自の値に置き換えます。ノードプールの名前を取得するには、kubectl get nodes を実行します。
```
az aks nodepool add --cluster-name <cluster name> --name <nodepool name> --resource-group <resource group> --node-vm-size Standard_L8s_v3 --node-count 1 --labels acstor.azure.com/io-engine=acstor
```
kubectl get nodes を実行すると、ノードがクラスターに追加されたことがわかります。
kubectl get sp -A を実行すると、ストレージプールの容量が増えたことがわかります。

ストレージプールを削除する

ストレージプールを削除する場合は、次のコマンドを実行します。 <storage-pool-name> はストレージプール名に置き換えます。

kubectl delete sp -n acstor <storage-pool-name>

ローカル NVMe 使用時のパフォーマンスの最適化

ワークロードのパフォーマンス要件に応じて、Basic、Standard、Advanced という 3 つの異なるパフォーマンスレベルから選択できます。各レベルでは異なる範囲の IOPS が提供され、選択したレベルは、Azure Container Storage のコンポーネントがインストール先のノードで消費する vCPU の数に影響を与えます。パフォーマンスレベルを更新しない場合は、Standard が既定の構成となります。

階層	vCPU の数	"読み取り IOPS"	"書き込み IOPS"
`Basic`	VM コアの合計数の 12.5%	最大 107,000	最大 102,000
`Standard` (既定)	VM コアの合計数の 25%	最大 186,000	最大 195,000
`Advanced`	VM コアの合計数の 50%	最大 253,000	最大 243,000

Note

RAM と hugepage の消費量はすべてのレベルで一貫しており、RAM は 1 GiB、hugepage は 2 GiB です。

ニーズに最適なパフォーマンスレベルを特定したら、次のコマンドを実行して、Azure Container Storage のインストールのパフォーマンスレベルを更新できます。 <performance tier> は basic、standard、または advanced に置き換えてください。

az aks update -n <cluster-name> -g <resource-group> --enable-azure-container-storage <storage-pool-type> --ephemeral-disk-nvme-perf-tier <performance-tier>

次の方法で共有

ローカル NVMe およびボリュームレプリケーションとともに Azure Container Storage を使う

エフェメラルディスクとは

前提条件

ローカル NVMe をサポートする VM の種類を選択する

汎用エフェメラルボリュームを作成してアタッチする

1.ボリュームレプリケーションが有効なストレージプールを作成する

2.使用可能なストレージクラスを表示する

3.汎用エフェメラルボリュームを使用してポッドをデプロイする

永続ボリュームを作成してアタッチする

1.Azure Container Storage のインストールの更新

2.ボリュームレプリケーションが有効なストレージプールを作成する

3.使用可能なストレージクラスを表示する

4.永続ボリューム要求の作成

5.ポッドをデプロイして永続ボリュームをアタッチする

ボリュームとストレージプールを管理する

ノードエフェメラルディスク容量を確認する

永続ボリュームをデタッチして再アタッチする

ストレージプールを拡張する

ストレージプールを削除する

ローカル NVMe 使用時のパフォーマンスの最適化

関連項目

フィードバック

フィードバック

その他のリソース

次の方法で共有

ローカル NVMe およびボリューム レプリケーションとともに Azure Container Storage を使う

エフェメラル ディスクとは

前提条件

ローカル NVMe をサポートする VM の種類を選択する

汎用エフェメラル ボリュームを作成してアタッチする

1.ボリューム レプリケーションが有効なストレージ プールを作成する

2.使用可能なストレージ クラスを表示する

3.汎用エフェメラル ボリュームを使用してポッドをデプロイする

永続ボリュームを作成してアタッチする

1.Azure Container Storage のインストールの更新

2.ボリューム レプリケーションが有効なストレージ プールを作成する

3.使用可能なストレージ クラスを表示する

4.永続ボリューム要求の作成

5.ポッドをデプロイして永続ボリュームをアタッチする

ボリュームとストレージ プールを管理する

ノード エフェメラル ディスク容量を確認する

永続ボリュームをデタッチして再アタッチする

ストレージ プールを拡張する

ストレージ プールを削除する

ローカル NVMe 使用時のパフォーマンスの最適化

関連項目

フィードバック

フィードバック

その他のリソース

ローカル NVMe およびボリュームレプリケーションとともに Azure Container Storage を使う

エフェメラルディスクとは

汎用エフェメラルボリュームを作成してアタッチする

1.ボリュームレプリケーションが有効なストレージプールを作成する

2.使用可能なストレージクラスを表示する

3.汎用エフェメラルボリュームを使用してポッドをデプロイする

2.ボリュームレプリケーションが有効なストレージプールを作成する

3.使用可能なストレージクラスを表示する

ボリュームとストレージプールを管理する

ノードエフェメラルディスク容量を確認する

ストレージプールを拡張する

ストレージプールを削除する