Azure 관리 디스크와 함께 Azure 컨테이너 스토리지 사용

Azure Container Storage는 기본적으로 컨테이너용으로 구축된 클라우드 기반 볼륨 관리, 배포 및 오케스트레이션 서비스입니다. 이 문서에서는 Azure 관리 디스크를 Kubernetes 워크로드에 대한 백 엔드 스토리지로 사용하도록 Azure Container Storage를 구성하는 방법을 보여 줍니다. 결국 Azure 관리 디스크를 스토리지로 사용하는 Pod가 생성됩니다.

필수 조건

• Azure 구독이 없는 경우 시작하기 전에 체험 계정을 만듭니다.

• 이 문서에는 Azure CLI의 최신 버전(2.35.0 이상)이 필요합니다. Azure CLI를 설치하는 방법을 참조하세요. Azure Cloud Shell에서 Bash 환경을 사용하는 경우 최신 버전이 이미 설치되어 있습니다. Azure Cloud Shell 대신 로컬로 명령을 실행하려는 경우 관리자 권한으로 명령을 실행해야 합니다. 자세한 내용은 Azure Cloud Shell 시작을 참조하세요.

• Kubernetes 명령줄 클라이언트 kubectl이 필요합니다. Azure Cloud Shell을 사용 중인 경우 이미 설치되어 있는 것이며, 그렇지 않은 경우 az aks install-cli 명령을 실행하여 로컬로 설치할 수 있습니다.

• Azure Container Storage를 아직 설치하지 않은 경우 Azure Kubernetes Service에서 Azure Container Storage 사용의 지침을 따릅니다.

• 대상 지역이 Azure 컨테이너 스토리지 지역에서 지원되는지 확인합니다.

• Azure 관리 디스크에서 Azure 컨테이너 스토리지를 사용하려면 AKS 클러스터에 클러스터 노드에 대한 범용 VM(예: standard_d4s_v5)이 3개 이상 포함된 노드 풀이 있어야 하며 각각 최소 4개의 vCPU(가상 CPU)가 있어야 합니다.

영구 볼륨 만들기 및 연결

영구 볼륨을 만들고 연결하려면 다음 단계를 따릅니다.

1. 스토리지 풀 만들기

먼저 YAML 매니페스트 파일에서 정의하여 Kubernetes 클러스터에 대한 스토리지의 논리적 그룹인 스토리지 풀을 만듭니다.

스토리지 풀을 만들기 위한 옵션은 다음과 같습니다.

• 동적 스토리지 풀 만들기
• 사전 프로비전된 Azure 관리 디스크를 사용하여 사전 프로비전된 스토리지 풀 만들기
• 사용자 고유의 암호화 키를 사용하여 동적 스토리지 풀 만들기(선택 사항)

az aks create 또는 az aks update 명령을 사용하여 Azure Container Storage를 사용하도록 설정한 경우 이미 스토리지 풀이 있을 수 있습니다. 스토리지 풀 목록을 가져오려면 kubectl get sp -n acstor를 사용합니다. 사용하려는 스토리지 풀이 이미 있는 경우 이 단계를 건너뛰고 사용 가능한 스토리지 클래스 표시로 진행할 수 있습니다.

동적 스토리지 풀 만들기

다음 단계에 따라 Azure Disks용 동적 스토리지 풀을 만듭니다.

1. 즐겨찾는 텍스트 편집기를 사용하여 code acstor-storagepool.yaml과 같은 YAML 매니페스트 파일을 만듭니다.

2. 다음 코드를 붙여넣습니다. 스토리지 풀 name 값은 원하는 대로 지정할 수 있습니다. skuName에 대해 성능 및 중복성 수준을 지정합니다. 허용되는 값은 Premium_LRS, Standard_LRS, StandardSSD_LRS, UltraSSD_LRS, Premium_ZRS, PremiumV2_LRS 및 StandardSSD_ZRS입니다. 스토리지는 풀의 저장 용량을 Gi 또는 Ti 단위로 지정합니다.

   apiVersion: containerstorage.azure.com/v1
   kind: StoragePool
   metadata:
     name: azuredisk
     namespace: acstor
   spec:
     poolType:
       azureDisk:
         skuName: Premium_LRS
     resources:
       requests:
         storage: 1Ti
   

   UltraSSD_LRS 또는 PremiumV2_LRS 디스크를 사용하는 경우 스토리지 풀 정의에서 IOPSReadWrite 및 MBpsReadWrite 매개 변수를 사용하여 IOPS 및 처리량을 설정할 수 있습니다.

   IOPSReadWrite는 울트라 SSD 및 프리미엄 v2 LRS 디스크에 허용되는 IOPS 수를 나타냅니다. 자세한 내용은 Ultra Disk IOPS 및 프리미엄 SSD v2 IOPS를 참조하세요.

   MBpsReadWrite는 울트라 SSD 및 프리미엄 v2 LRS 디스크에 허용된 대역폭을 나타냅니다. MBps는 초당 수백만 바이트를 의미합니다(MB/s = 초당 10^6바이트). 자세한 내용은 Ultra Disk 처리량 및 프리미엄 SSD v2 처리량을 참조하세요.

   apiVersion: containerstorage.azure.com/v1
   kind: StoragePool
   metadata:
     name: azuredisk
     namespace: acstor
   spec:
     poolType:
       azureDisk:
         skuName: PremiumV2_LRS
         iopsReadWrite: 5000
         mbpsReadWrite: 200
     resources:
       requests:
         storage: 1Ti
   

3. YAML 매니페스트 파일을 저장한 다음 이를 적용하여 스토리지 풀을 만듭니다.

   kubectl apply -f acstor-storagepool.yaml 
   

   스토리지 풀 만들기가 완료되면 다음과 같은 메시지가 표시됩니다.

   storagepool.containerstorage.azure.com/azuredisk created
   

   이 명령을 실행하여 스토리지 풀의 상태를 확인할 수도 있습니다. <storage-pool-name>을 스토리지 풀 name 값으로 바꿉니다. 이 예에서 이 값은 azuredisk입니다.

   kubectl describe sp <storage-pool-name> -n acstor
   

스토리지 풀을 만들 때 Azure Container Storage는 명명 규칙 acstor-<storage-pool-name>을 사용하여 사용자를 대신하여 스토리지 클래스를 만듭니다. 이제 사용 가능한 스토리지 클래스를 표시하고 영구 볼륨 클레임 생성을 할 수 있습니다.

미리 프로비전된 스토리지 풀 만들기

이미 프로비전된 Azure 관리 디스크가 있는 경우 해당 디스크를 사용하여 미리 프로비전된 스토리지 풀을 만들 수 있습니다. 디스크가 이미 프로비전되어 있으므로 스토리지 풀을 만들 때 skuName 또는 스토리지 용량을 지정할 필요가 없습니다.

다음 단계에 따라 Azure Disks에 대해 미리 프로비전된 스토리지 풀을 만듭니다.

1. Azure Portal에 로그인합니다.

2. 사용하려는 각 디스크에 대해 Azure 관리 디스크로 이동하고 설정>속성을 선택합니다. 리소스 ID 아래에 전체 문자열을 복사하여 텍스트 파일에 넣습니다.

3. 즐겨찾는 텍스트 편집기를 사용하여 code acstor-storagepool.yaml과 같은 YAML 매니페스트 파일을 만듭니다.

4. 다음 코드를 붙여넣습니다. 스토리지 풀 name 값은 원하는 대로 지정할 수 있습니다. <resource-id>를 각 관리 디스크의 리소스 ID로 바꿉니다. 파일을 저장합니다.

   apiVersion: containerstorage.azure.com/v1
   kind: StoragePool
   metadata:
     name: sp-preprovisioned
     namespace: acstor
   spec:
     poolType:
       azureDisk:
         disks:
           - reference <resource-id1>
           - reference <resource-id2>
   

5. YAML 매니페스트 파일을 적용하여 스토리지 풀을 만듭니다.

   kubectl apply -f acstor-storagepool.yaml 
   

   스토리지 풀 만들기가 완료되면 다음과 같은 메시지가 표시됩니다.

   storagepool.containerstorage.azure.com/sp-preprovisioned created
   

   이 명령을 실행하여 스토리지 풀의 상태를 확인할 수도 있습니다. <storage-pool-name>을 스토리지 풀 name 값으로 바꿉니다. 이 예제에서는 값이 sp-preprovisioned가 됩니다.

   kubectl describe sp <storage-pool-name> -n acstor
   

스토리지 풀을 만들 때 Azure Container Storage는 명명 규칙 acstor-<storage-pool-name>을 사용하여 사용자를 대신하여 스토리지 클래스를 만듭니다. 이제 사용 가능한 스토리지 클래스를 표시하고 영구 볼륨 클레임 생성을 할 수 있습니다.

사용자 고유의 암호화 키를 사용하여 동적 스토리지 풀 만들기(선택 사항)

Azure Storage 계정의 모든 데이터는 미사용 시 암호화됩니다. 기본적으로 데이터는 Microsoft 관리형 키로 암호화됩니다. 암호화 키에 대한 더 많은 제어를 위해 스토리지 풀을 생성할 때 CMK(고객 관리형 키)를 제공하여 생성할 영구 볼륨을 암호화할 수 있습니다.

서버 측 암호화에 고유한 키를 사용하려면 키가 있는 Azure Key Vault가 있어야 합니다. Key Vault는 제거 보호를 사용하도록 설정해야 하며 Azure RBAC 권한 모델을 사용해야 합니다. Linux의 고객 관리형 키에 대해 자세히 알아보세요.

스토리지 풀을 만들 때 CMK 매개 변수를 정의해야 합니다. 필요한 CMK 암호화 매개 변수는 다음과 같습니다.

• keyVersion은 사용할 키의 버전을 지정합니다.
• keyName은 키 자격 증명 모음의 이름입니다.
• keyVaultUri는 Azure Key Vault의 균일한 리소스 식별자입니다(예: https://user.vault.azure.net).
• ID는 자격 증명 모음에 대한 액세스 권한이 있는 관리 ID를 지정합니다(예: /subscriptions/XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX/resourcegroups/MC_user-acstor-westus2-rg_user-acstor-westus2_westus2/providers/Microsoft.ManagedIdentity/userAssignedIdentities/user-acstor-westus2-agentpool).

사용자 고유의 암호화 키를 사용하여 스토리지 풀을 만들려면 다음 단계를 수행합니다. 이 스토리지 풀에서 만든 모든 영구 볼륨은 동일한 키를 사용하여 암호화됩니다.

1. 즐겨찾는 텍스트 편집기를 사용하여 code acstor-storagepool-cmk.yaml과 같은 YAML 매니페스트 파일을 만듭니다.

2. 다음 코드를 붙여넣고, 필요한 매개 변수를 제공하고, 파일을 저장합니다. 스토리지 풀 name 값은 원하는 대로 지정할 수 있습니다. skuName에 대해 성능 및 중복성 수준을 지정합니다. 허용되는 값은 Premium_LRS, Standard_LRS, StandardSSD_LRS, UltraSSD_LRS, Premium_ZRS, PremiumV2_LRS 및 StandardSSD_ZRS입니다. 스토리지는 풀의 저장 용량을 Gi 또는 Ti 단위로 지정합니다. CMK 암호화 매개 변수를 제공해야 합니다.

   apiVersion: containerstorage.azure.com/v1
   kind: StoragePool
   metadata:
     name: azuredisk
     namespace: acstor
   spec:
     poolType:
       azureDisk:
         skuName: Premium_LRS
         encryption: {
           keyVersion: "<key-version>",
           keyName: "<key-name>",
           keyVaultUri: "<key-vault-uri>",
           identity: "<identity>"
         }
     resources:
       requests:
         storage: 1Ti
   

3. YAML 매니페스트 파일을 적용하여 스토리지 풀을 만듭니다.

   kubectl apply -f acstor-storagepool-cmk.yaml 
   

   스토리지 풀 만들기가 완료되면 다음과 같은 메시지가 표시됩니다.

   storagepool.containerstorage.azure.com/azuredisk created
   

   이 명령을 실행하여 스토리지 풀의 상태를 확인할 수도 있습니다. <storage-pool-name>을 스토리지 풀 name 값으로 바꿉니다. 이 예에서 이 값은 azuredisk입니다.

   kubectl describe sp <storage-pool-name> -n acstor
   

스토리지 풀을 만들 때 Azure Container Storage는 명명 규칙 acstor-<storage-pool-name>을 사용하여 사용자를 대신하여 스토리지 클래스를 만듭니다.

2. 사용 가능한 스토리지 클래스 표시

스토리지 풀을 사용할 준비가 되면 스토리지 클래스를 선택하여 영구 볼륨 클레임을 만들고 영구 볼륨을 배포할 때 스토리지를 동적으로 만드는 방법을 정의해야 합니다.

kubectl get sc를 실행하여 사용 가능한 스토리지 클래스를 표시합니다. acstor-<storage-pool-name>라는 스토리지 클래스가 표시됩니다.

Important

내부로 표시된 스토리지 클래스는 사용하지 마세요. Azure Container Storage가 작동하는 데 필요한 내부 스토리지 클래스입니다.

3. 영구적 볼륨 클레임 만들기

PVC(영구적 볼륨 클레임)을 사용하여 스토리지 클래스를 기반으로 하는 스토리지를 자동으로 프로비전합니다. 다음 단계에 따라 새 스토리지 클래스를 사용하여 PVC를 만듭니다.

1. 즐겨찾는 텍스트 편집기를 사용하여 code acstor-pvc.yaml과 같은 YAML 매니페스트 파일을 만듭니다.

2. 다음 코드를 붙여넣고 파일을 저장합니다. PVC name 값은 원하는 대로 지정할 수 있습니다.

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: azurediskpvc
   spec:
     accessModes:
       - ReadWriteOnce
     storageClassName: acstor-azuredisk # replace with the name of your storage class if different
     resources:
       requests:
         storage: 100Gi
   

3. YAML 매니페스트 파일을 적용하여 PVC를 만듭니다.

   kubectl apply -f acstor-pvc.yaml
   

   다음과 유사한 결과가 표시됩니다.

   persistentvolumeclaim/azurediskpvc created
   

   다음 명령을 실행하여 PVC의 상태를 확인할 수 있습니다.

   kubectl describe pvc azurediskpvc
   

PVC가 만들어지면 Pod에서 사용할 준비가 됩니다.

4. Pod 배포 및 영구 볼륨 연결

벤치마킹 및 워크로드 시뮬레이션에 Fio(유연한 I/O 테스터)를 사용하여 Pod를 만들고 영구 볼륨에 대한 탑재 경로를 지정합니다. claimName의 경우 영구 볼륨 클레임을 만들 때 사용한 name 값을 사용합니다.

1. 즐겨찾는 텍스트 편집기를 사용하여 code acstor-pod.yaml과 같은 YAML 매니페스트 파일을 만듭니다.

2. 다음 코드를 붙여넣고 파일을 저장합니다.

   kind: Pod
   apiVersion: v1
   metadata:
     name: fiopod
   spec:
     nodeSelector:
       acstor.azure.com/io-engine: acstor
     volumes:
       - name: azurediskpv
         persistentVolumeClaim:
           claimName: azurediskpvc
     containers:
       - name: fio
         image: nixery.dev/shell/fio
         args:
           - sleep
           - "1000000"
         volumeMounts:
           - mountPath: "/volume"
             name: azurediskpv
   

3. YAML 매니페스트 파일을 적용하여 Pod를 배포합니다.

   kubectl apply -f acstor-pod.yaml
   

   다음과 비슷한 결과가 나타나야 합니다.

   pod/fiopod created
   

4. Pod가 실행 중이고 영구 볼륨 클레임이 Pod에 성공적으로 바인딩되었는지 확인합니다.

   kubectl describe pod fiopod
   kubectl describe pvc azurediskpvc
   

5. fio 테스트를 확인하여 현재 상태를 알아봅니다.

   kubectl exec -it fiopod -- fio --name=benchtest --size=800m --filename=/volume/test --direct=1 --rw=randrw --ioengine=libaio --bs=4k --iodepth=16 --numjobs=8 --time_based --runtime=60
   

이제 Azure Disks를 스토리지로 사용하는 Pod가 배포되었으며 Kubernetes 워크로드에 사용할 수 있습니다.

영구 볼륨 및 스토리지 풀 관리

이제 영구 볼륨을 만들었으므로 필요에 따라 분리하고 다시 연결할 수 있습니다. 스토리지 풀을 확장하거나 삭제할 수도 있습니다.

영구 볼륨 분리 및 다시 연결

영구 볼륨을 분리하려면 영구 볼륨이 연결된 Pod를 삭제합니다. <pod-name>을 Pod의 이름(예: fiopod)으로 바꿉니다.

kubectl delete pods <pod-name>

영구 볼륨을 다시 연결하려면 Pod 배포 및 영구 볼륨 연결에 설명된 대로 YAML 매니페스트 파일에서 영구 볼륨 클레임 이름을 참조하기만 하면 됩니다.

영구 볼륨 클레임이 바인딩되는 영구 볼륨을 확인하려면 kubectl get pvc <persistent-volume-claim-name>을 실행합니다.

스토리지 풀 확장

Azure Disks에서 지원되는 스토리지 풀을 확장하여 가동 중지 시간 없이 빠르게 스케일 업할 수 있습니다. 스토리지 풀 축소는 현재 지원되지 않습니다. Ultra Disks 또는 프리미엄 SSD v2에서는 스토리지 풀 확장이 지원되지 않습니다.

참고 항목

스토리지 풀을 확장하면 Azure Container Storage 및 Azure Disks에 대한 비용이 증가할 수 있습니다. Azure 컨테이너 스토리지 가격 책정 페이지와 Azure 컨테이너 스토리지 청구 이해를 참조하세요.

현재, Premium_LRS, Standard_LRS, StandardSSD_LRS, Premium_ZRS 및 StandardSSD_ZRS SKU를 사용할 때 스토리지 풀 확장에는 다음과 같은 제한 사항이 있습니다.

• 기존 스토리지 풀이 4TiB(4,096GiB) 미만인 경우 최대 4,095GiB까지만 확장할 수 있습니다. 오류를 방지하려면 처음에 4TiB(4,096GiB)보다 작은 경우 현재 스토리지 풀을 4,095GiB 이상으로 확장하려고 시도하지 마세요. 스토리지 풀 > 4TiB는 사용 가능한 최대 스토리지 용량까지 확장 가능합니다.

다음 지침에 따라 Azure Disks에 대한 기존 스토리지 풀을 확장합니다.

1. 텍스트 편집기를 사용하여 스토리지 풀을 만드는 데 사용한 YAML 매니페스트 파일을 엽니다. 예를 들면 code acstor-storagepool.yaml과 같습니다.

2. YAML 매니페스트 파일의 지정된 스토리지 항목을 원하는 값으로 바꿉니다. 이 값은 스토리지 풀의 현재 용량보다 커야 합니다. 예를 들어 사양이 storage: 1Ti로 설정된 경우 해당 사양을 storage: 2Ti로 변경합니다. 미리 프로비전된 스토리지 풀을 만든 경우 스토리지 풀이 미리 프로비전된 Azure Disks에서 용량 크기를 상속했기 때문에 스토리지 항목이 없습니다. YAML에 스토리지 항목이 표시되지 않으면 원하는 스토리지 용량을 지정하는 다음 코드를 추가한 다음, 매니페스트 파일을 저장합니다.

   spec:
     resources:
       requests:
         storage: 2Ti
   

참고 항목

스토리지 풀에 각각 1TiB 용량의 디스크가 두 개 있고 YAML 매니페스트 파일을 편집하여 storage: 4Ti를 읽는 경우 YAML을 적용될 때 두 디스크 모두 2TiB로 확장되어 총 용량이 4TiB가 됩니다.

1. YAML 매니페스트 파일을 적용하여 스토리지 풀을 확장합니다.

   kubectl apply -f acstor-storagepool.yaml 
   

2. 이 명령을 실행하여 스토리지 풀의 상태를 확인합니다. <storage-pool-name>을 스토리지 풀 name 값으로 바꿉니다.

   kubectl describe sp <storage-pool-name> -n acstor
   

   “스토리지 풀이 확장 중”이라는 메시지가 표시됩니다. 몇 분 후에 명령을 다시 실행하면 메시지가 사라집니다.

3. kubectl get sp -A를 실행하면 스토리지 풀에 새 크기가 반영됩니다.

스토리지 풀 삭제

스토리지 풀을 삭제하려면 다음 명령을 실행합니다. <storage-pool-name>을 스토리지 풀 이름으로 바꿉니다.

kubectl delete sp -n acstor <storage-pool-name>

참고 항목

• Azure Container Storage란?