Azure Stack Edge Pro GPU 디바이스에 고성능 네트워크 VM 배포

적용 대상:Azure Stack Edge Pro - GPUAzure Stack Edge Pro 2Azure Stack Edge Pro RAzure Stack Edge Mini R

Azure Portal, 템플릿, Azure PowerShell cmdlet을 사용하고 Azure CLI 또는 Python 스크립트를 통해 Azure Stack Edge Pro GPU 디바이스에서 VM(가상 머신)을 만들고 관리할 수 있습니다. 이 문서에서는 Azure Stack Edge Pro GPU 디바이스에서 HPN(고성능 네트워크) VM을 만들고 관리하는 방법을 설명합니다.

HPN VM 정보

HPN VM은 높은 패킷 처리 속도, 짧은 대기 시간 및 낮은 지터가 필요한 5G 및 MEC(다중 액세스 Edge 컴퓨팅) 네트워크 기능을 위해 특별히 설계되었습니다.

HPN VM은 프로세서 속도를 높이도록 NUMA(비균일 메모리 액세스) 아키텍처를 활용합니다. NUMA 시스템에서 CPU는 노드라는 더 작은 시스템으로 정렬됩니다. 각 노드에는 전용 논리 프로세서 및 메모리 집합이 있습니다. HPN VM은 하나의 NUMA 노드에서만 CPU를 사용할 수 있습니다.

Azure Stack Edge 디바이스에서 논리 프로세서는 NUMA 노드에 분산되고 고속 네트워크 인터페이스를 이러한 노드에 연결할 수 있습니다.

동일한 NUMA 노드에서 성능, 처리 및 전송을 최대화하기 위해 프로세서는 물리적 거리를 줄이기 위해 가장 가까운 메모리를 할당합니다. 자세한 내용은 NUMA 지원을 참조하세요.

Azure Stack Edge에 대한 vCPU 예약

Azure Stack Edge에 HPN VM을 배포하려면 NUMA 노드에서 vCPU를 예약해야 합니다. 예약된 vCPU 수에 따라 HPN VM에 할당할 수 있는 사용 가능한 vCPU가 결정됩니다.

각 HPN VM 크기에서 사용하는 코어 수는 지원되는 HPN VM 크기를 참조하세요.

버전 2210에서 vCPU는 각 NUMA 노드에서 지원되는 최대 vCPU 수로 자동으로 예약됩니다. vCPU가 이미 이전 버전의 HPN VM용으로 예약된 경우 기존 예약은 2210 버전으로 전달됩니다. 이전 버전에서 VCPU가 HPN VM용으로 예약되지 않은 경우 2210으로 업그레이드해도 기존 구성이 계속 수행됩니다.

2209 이하 버전의 경우 디바이스에 HPN VM을 배포하기 전에 NUMA 노드에서 vCPU를 예약해야 합니다. NUMA 노드 0에는 Mellanox 고속 네트워크 인터페이스가 있으므로 vCPU 예약에 NUMA 노드 0을 사용하는 것이 좋습니다.

HPN VM 배포 워크플로

HPN 배포 워크플로에 대한 개략적인 요약은 다음과 같습니다.

1. 디바이스에서 네트워크 설정을 구성하는 동안 VM 리소스 및 VM에 사용할 수 있는 디바이스의 네트워크 인터페이스와 연결된 가상 스위치가 있는지 확인합니다. 여기서는 이 문서의 vswitch를 사용하여 만든 기본 가상 네트워크를 사용하겠습니다. 원하는 경우 다른 가상 네트워크를 만들고 사용할 수도 있습니다.

2. Azure Portal에서 VM의 클라우드 관리를 사용하도록 설정합니다. 디바이스에 VHD를 다운로드하고 VHD에서 VM 이미지를 만듭니다.

3. 2209 이하 버전 HPN VM에 대해 디바이스에서 vCPU를 예약합니다. 버전 2210의 경우 vCPU가 자동으로 예약됩니다.

4. 이전 단계에서 만든 리소스를 사용합니다.

   1. 만든 VM 이미지입니다.
   2. 가상 스위치와 연결된 기본 가상 네트워크입니다. 기본 가상 트워크 이름은 가상 스위치 이름과 동일합니다.
   3. 기본 가상 네트워크의 기본 서브넷입니다.

5. 그리고 다음 리소스를 만들거나 지정합니다.

   1. VM 이름 및 지원되는 HPN VM 크기를 지정하고, VM에 대한 로그인 자격 증명을 지정합니다.
   2. 새 데이터 디스크를 만들거나 기존 데이터 디스크를 연결합니다.
   3. VM의 고정 IP 또는 동적 IP를 구성합니다. 고정 IP를 제공하는 경우 기본 가상 네트워크의 서브넷 범위에서 무료 IP를 지정합니다.

6. 위의 리소스를 사용하여 HPN VM을 만듭니다.

필수 조건

Azure Portal을 통해 디바이스에서 VM을 만들고 관리하기 전에 다음을 확인합니다.

2210

• 자습서: GPU를 통해 Azure Stack Edge Pro 활성화에서 설명한 대로 Azure Stack Edge Pro GPU 디바이스를 구성하고 활성화했습니다.

  가상 스위치를 만들었는지 확인합니다. VM 및 VM의 리소스는 이 가상 스위치 및 연결된 가상 네트워크를 사용합니다. 자세한 내용은 Azure Stack Edge Pro GPU에서 가상 스위치 구성을 참조하세요.

• 만들려는 VM의 VM 이미지에 액세스할 수 있습니다. VM 이미지를 만들려는 경우 Azure Marketplace에서 이미지를 가져오면 됩니다.

• VM을 만들기 위한 위의 필수 구성 요소 외에도 HPN VM의 vCPU 예약도 확인해야 합니다.

  • 기본 vCPU 예약은 HPN VM에 사용할 수 있는 모든 vCPU를 예약하는 SkuPolicy를 사용합니다.

  • vCPU가 이전 버전(예: 2209 이하 버전)의 HPN VM용으로 이미 예약된 경우 기존 예약은 2210 버전으로 전달됩니다.

  • 대부분의 경우 기본 구성을 사용하는 것이 좋습니다. 필요한 경우 HPN VM에 대한 NUMA 구성을 사용자 지정할 수도 있습니다. 구성을 사용자 지정하려면 2209용으로 제공된 단계를 사용합니다.

• 다음 단계를 사용하여 디바이스의 SkuPolicy 설정에 대한 정보를 가져옵니다.

  1. 디바이스의 PowerShell 인터페이스에 연결합니다.

  2. 다음 명령을 실행하여 디바이스에서 사용 가능한 NUMA 정책을 확인합니다.

     Get-HcsNumaPolicy
     

     다음은 출력 예제입니다.

     [DBE-BNVGF33.microsoftdatabox.com]: PS>Get-HcsNumaPolicy
     
     Get-HcsNumaPolicy
     PolicyType: AllRoot
     HpnLpMapping:
        CPUs: []
     
     PolicyType: SkuPolicy
     HpnLpMapping:
        CPUs: [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47]
     
     [DBE-BNVGF33.microsoftdatabox.com]: PS>
     

  3. 다음 명령을 실행하여 디바이스에서 vCPU 예약 정보를 가져옵니다.

     이 cmdlet은 다음을 출력합니다.

     1. HpnLpMapping: 컴퓨터에서 예약된 NUMA 논리 프로세서 인덱스입니다.
     2. HpnCapableLpMapping: 예약이 가능한 NUMA 논리 프로세서 인덱스입니다.
     3. HpnLpAvailable: 새 HPN VM 배포에 사용할 수 있는 NUMA 논리 프로세서 인덱스입니다.

     Get-HcsNumaLpMapping
     

     다음은 SkuPolicy가 적용되는 경우의 예제 출력입니다.

     [DBE-BNVGF33.microsoftdatabox.com]: PS>Get-HcsNumaLpMapping
     Hardware:
      { Numa Node #0 : CPUs [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23] }
      { Numa Node #1 : CPUs [24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47] }
     
     HpnCapableLpMapping:
      { Numa Node #0 : CPUs [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23] }
      { Numa Node #1 : CPUs [28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47] }
     
     BNVGF33:
     HpnLpMapping:
      { Numa Node #0 : CPUs [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23] }
      { Numa Node #1 : CPUs [28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47] }
     
     HpnLpAvailable:
      { Numa Node #0 : CPUs [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23] }
      { Numa Node #1 : CPUs [28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47] }
     

     현재 예약을 변경하거나 새 예약을 만들려는 경우에만 다음 단계를 진행합니다.

  4. 다음 명령을 실행하여 디바이스에서 NUMA 논리 프로세서 매핑을 설정합니다. 사용자 지정 논리 프로세서 집합을 지정하려는 경우 -Custom 매개 변수를 사용할 수 있습니다. 사용자 지정 집합을 지정할 때 규칙에 대해서는 이 문서의 2209 이하 탭을 참조하세요.

     이 명령을 실행하면 VM 실행이 중지되고 재부팅이 트리거된 다음 VM이 다시 시작됩니다.

     Set-HcsNumaLpMapping -UseSkuPolicy
     

     다음은 출력 예제입니다.

     [DBE-BNVGF33.microsoftdatabox.com]: Set-HcsNumaLpMapping -UseSkuPolicy
     Requested Config already exists. No action needed.
     
     [DBE-BNVGF33.microsoftdatabox.com]: PS> Set-HcsNumaLpMapping -UseAllRoot
     Requested Configuration requires a reboot...
     Machine will reboot in some time. Please be patient.
     [DBE-BNVGF33.microsoftdatabox.com]: PS>
     

  5. 다음 명령을 실행하여 vCPU 예약의 유효성을 검사하고 VM이 다시 시작되었는지 확인합니다.

     Get-HcsNumaLpMapping
     

2209 이하

• 1단계: Azure Stack Edge Pro GPU 디바이스 구성의 설명대로 Azure Stack Edge Pro GPU 디바이스에서 네트워크 설정을 완료했습니다.

  1. 네트워크 인터페이스에서 컴퓨팅을 사용하도록 설정했습니다. 이 네트워크 인터페이스 IP는 VM 배포를 위한 가상 스위치를 만드는 데 사용됩니다. 디바이스의 로컬 UI에서 컴퓨팅으로 이동합니다. 가상 스위치를 만드는 데 사용할 네트워크 인터페이스를 선택합니다.

     Important

     컴퓨팅용 포트는 하나만 구성할 수 있습니다.

  2. 네트워크 인터페이스에서 컴퓨팅을 사용하도록 설정합니다. 이 네트워크 인터페이스에 해당하는 가상 스위치를 Azure Stack Edge Pro GPU가 만들고 관리합니다.

• 만들려는 VM의 VM 이미지를 만드는 데 사용할 Windows 또는 Linux VHD에 액세스할 수 있습니다.

VM 만들기에 사용되는 위의 필수 조건 외에도 HPN VM에 대해 다음 필수 구성 요소를 구성합니다.

• Mellanox 인터페이스에서 HPN VM용 vCPU를 예약합니다. 다음 단계를 수행합니다.

  1. 디바이스의 PowerShell 인터페이스에 연결합니다.

  2. Kubernetes VM 및 배포했을 수 있는 모든 VM 워크로드를 포함하여 디바이스에서 실행되는 모든 VM을 식별합니다.

     get-vm
     

  3. 실행 중인 모든 VM을 중지합니다.

     stop-vm -force
     

  4. 디바이스의 hostname을 가져옵니다. 디바이스 호스트 이름에 해당하는 문자열을 반환해야 합니다.

     hostname
     

  5. HPN VM에 대해 예약할 논리 프로세서 인덱스를 가져옵니다.

     Get-HcsNumaLpMapping -MapType HighPerformanceCapable -NodeName <Output of hostname command> 
     

     다음은 출력 예제입니다.

     [dbe-1csphq2.microsoftdatabox.com]: PS>hostname 1CSPHQ2
     [dbe-1csphq2.microsoftdatabox.com]: P> Get-HcsNumaLpMapping -MapType HighPerformanceCapable -NodeName 1CSPHQ2
      { Numa Node #0 : CPUs [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19] }
      { Numa Node #1 : CPUs [24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39] }
     
     [dbe-1csphq2.microsoftdatabox.com]: PS>
     

  6. HPN VM에 대한 vCPU를 예약합니다. 여기에서 예약된 vCPU 수는 HPN VM에 할당할 수 있는 사용 가능한 vCPU를 결정합니다. 각 HPN VM 크기에서 사용하는 코어 수는 지원되는 HPN VM 크기를 참조하세요. 디바이스에서 Mellanox 포트 5 및 6은 NUMA 노드 0에 있습니다.

     Set-HcsNumaLpMapping -CpusForHighPerfVmsCommaSeperated <Logical indexes from the Get-HcsNumaLpMapping cmdlet> -AssignAllCpusToRoot $false
     

     다음은 출력 예제입니다.

     [dbe-1csphq2.microsoftdatabox.com]: PS>Set-HcsNumaLpMapping -CpusForHighPerfVmsCommaSeperated "4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39" -AssignAllCpusToRoot $false 
     
     Requested Configuration requires a reboot...
     
     Machine will reboot in some time. Please be patient.
     
     [dbe-1csphq2.microsoftdatabox.com]: PS>
     

     참고 항목

     • 예제 또는 인덱스의 하위 집합에 표시된 두 NUMA 노드에서 모든 논리 인덱스를 예약하도록 선택할 수 있습니다. 인덱스의 하위 집합을 예약하도록 선택하는 경우 최상의 성능을 위해 Mellanox 네트워크 인터페이스가 연결된 디바이스 노드에서 인덱스를 선택합니다. Azure Stack Edge Pro GPU의 경우 Mellanox 네트워크 인터페이스가 있는 NUMA 노드는 0번입니다.
     • 논리 인덱스 목록에는 홀수와 짝수의 쌍을 이루는 시퀀스가 포함되어야 합니다. 예: ((4,5)(6,7)(10,11)) 5,6,7과 같은 숫자 목록 또는 4,6과 같은 쌍을 설정하려고 하면 작동하지 않습니다.
     • 두 Set-HcsNuma 명령을 연속으로 사용하여 vCPU를 할당하면 구성이 다시 설정됩니다. 또한 HPN VM을 배포한 경우 Set-HcsNuma cmdlet을 사용하여 CPU를 해제하지 마세요.

     참고 항목

     이전 버전에서 2210으로 업데이트된 디바이스는 업그레이드 전의 minroot 구성을 유지합니다.

  7. 디바이스가 다시 부팅될 때까지 기다립니다. 디바이스가 다시 실행되면 새 PowerShell 세션을 엽니다. 디바이스의 PowerShell 인터페이스에 연결합니다.

  8. vCPU 예약의 유효성을 검사하고 VM이 다시 시작되었는지 확인합니다.

     Get-HcsNumaLpMapping
     

     출력에 설정한 인덱스가 표시되지 않아야 합니다. 출력에 설정한 인덱스가 표시되면 Set 명령이 완료되지 않은 것입니다. 이 경우 명령을 다시 시도하고 문제가 지속되면 Microsoft 지원에 문의하세요.

     예제 출력은 다음과 같습니다.

     dbe-1csphq2.microsoftdatabox.com]: PS> Get-HcsNumaLpMapping -MapType MinRootAware -NodeName 1CSPHQ2 
     
     { Numa Node #0 : CPUs [0, 1, 2, 3] } 
     
     { Numa Node #1 : CPUs [20, 21, 22, 23] } 
     
     [dbe-1csphq2.microsoftdatabox.com]: 
     
     PS> 
     

  9. 이전 단계에서 중지한 VM을 다시 시작합니다.

     start-vm
     

VM 배포

다음 단계에 따라 디바이스에 HPN VM을 만듭니다.

참고 항목

Azure Stack Edge Pro 1 디바이스에는 두 개의 NUMA 노드가 있으므로 HPN이 아닌 VM을 프로비전하기 전에 HPN VM을 프로비전해야 합니다.

1. Azure Stack Edge 리소스의 Azure Portal에서 VM 이미지를 추가합니다. 이 VM 이미지를 사용하여 다음 단계에서 VM을 만듭니다. VM에 대해 Gen1 또는 Gen2를 선택할 수 있습니다.

2. 이 구성 요구 사항을 사용하여 VM 추가의 모든 단계를 수행합니다.

   기본 탭의 HPN에 지원되는 DSv2 또는 F 시리즈에서 VM 크기를 선택합니다.

   

3. VM 만들기의 나머지 단계를 완료합니다. VM을 만드는 데 약 30분이 걸립니다.

   

4. VM이 성공적으로 생성된 후 개요 창에 새 VM이 표시됩니다. 새로 만든 VM을 선택하여 가상 머신으로 이동합니다.

   

   VM을 선택하여 세부 정보를 확인합니다.

   

   네트워크 인터페이스의 IP 주소를 사용하여 VM에 연결합니다.

   참고 항목

   배포 전에 VCPU가 HPN VM용으로 예약되지 않은 경우 FabricVmPlacementErrorInsufficientNumaNodeCapacity 오류와 함께 배포가 실패합니다.

다음 단계

• VM 배포 문제 해결
• 디바이스에서 VM 작업 모니터링
• VM에서 CPU 및 메모리 모니터링