Utilizar GPUs para cargas de trabalho intensivas em termos de computação (AKS no Azure Stack HCI 23H2)

Artigo
03/05/2024

Aplica-se a: Azure Stack HCI, versão 23H2

Nota

Para obter informações sobre GPUs no AKS no Azure Stack HCI 22H2, veja Utilizar GPUs (HCI 22H2).

As Unidades de Processamento Gráfico (GPU) são utilizadas para cargas de trabalho de computação intensiva, como machine learning, aprendizagem profunda e muito mais. Este artigo descreve como utilizar GPUs para cargas de trabalho intensivas em termos de computação no AKS ativadas pelo Azure Arc.

Modelos de GPU suportados

Os seguintes modelos de GPU são suportados pelo AKS no Azure Stack HCI 23H2:

Fabricante	Modelo de GPU	Versão suportada
NVidia	A2	2311.2
NVidia	A16	2402.0

Tamanhos de VM suportados

Os seguintes tamanhos de VM para cada modelo de GPU são suportados pelo AKS no Azure Stack HCI 23H2.

O Nvidia A2 é suportado por SKUs NC2 A2

Tamanho da VM	GPUs	Memória de GPU: GiB	vCPU	Memória: GiB
Standard_NC4_A2	1	16	4	8
Standard_NC8_A2	1	16	8	16
Standard_NC16_A2	2	48	16	64
Standard_NC32_A2	2	48	32	28

O Nvidia A16 é suportado por SKUs NC2 A16

Tamanho da VM	GPUs	Memória de GPU: GiB	vCPU	Memória: GiB
Standard_NC4_A16	1	16	4	8
Standard_NC8_A16	1	16	8	16
Standard_NC16_A16	2	48	16	64
Standard_NC32_A16	2	48	32	28

Antes de começar

Para utilizar GPUs no AKS Arc, certifique-se de que instalou os controladores de GPU necessários antes de iniciar a implementação do cluster. Siga os passos nesta secção.

Passo 1: instalar o SO

Instale o Azure Stack HCI, versão 23H2 do sistema operativo localmente em cada servidor no cluster do Azure Stack HCI.

Passo 2: transferir e instalar o controlador de mitigação NVIDIA

O software pode incluir componentes desenvolvidos e pertencentes à NVIDIA Corporation ou respetivos licenciadores. A utilização destes componentes é regida pelo contrato de licença de utilizador final NVIDIA.

Veja a documentação do datacenter NVIDIA para transferir o controlador de mitigação NVIDIA. Depois de transferir o controlador, expanda o arquivo e instale o controlador de mitigação em cada computador anfitrião.

Invoke-WebRequest -Uri "https://docs.nvidia.com/datacenter/tesla/gpu-passthrough/nvidia_azure_stack_inf_v2022.10.13_public.zip" -OutFile "nvidia_azure_stack_inf_v2022.10.13_public.zip"
mkdir nvidia-mitigation-driver
Expand-Archive .\nvidia_azure_stack_inf_v2022.10.13_public.zip .\nvidia-mitigation-driver\

Para instalar o controlador de mitigação, navegue para a pasta que contém os ficheiros extraídos e selecione o ficheiro de controlador GPU com base no tipo de GPU real instalado nos anfitriões do Azure Stack HCI. Por exemplo, se o tipo for GPU A2, clique com o botão direito do rato no ficheiro nvidia_azure_stack_A2_base.inf e selecione Instalar.

Também pode instalar com a linha de comandos ao navegar para a pasta e executar os seguintes comandos para instalar o controlador de mitigação:

pnputil /add-driver nvidia_azure_stack_A2_base.inf /install 
pnputil /scan-devices

Depois de instalar o controlador de mitigação, as GPUs são listadas no estado OK em Nvidia A2_base - Desmontada:

Get-PnpDevice  | select status, class, friendlyname, instanceid | findstr /i /c:"nvidia"

OK       Nvidia A2_base - Dismounted               PCI\VEN_10DE&DEV_1EB8&SUBSYS_12A210DE&REV_A1\4&32EEF88F&0&0000 
OK       Nvidia A2_base - Dismounted               PCI\VEN_10DE&DEV_1EB8&SUBSYS_12A210DE&REV_A1\4&3569C1D3&0&0000

Passo 3: repetir os passos 1 e 2

Repita os passos 1 e 2 para cada servidor no cluster do HCI.

Passo 4: continuar a implementação do cluster do Azure Stack HCI

Continue a implementação do cluster do Azure Stack HCI ao seguir os passos na implementação do Azure Stack HCI, versão 23H2.

Obter uma lista de SKUs de VM compatíveis com GPU disponíveis

Assim que a implementação do cluster do Azure Stack HCI estiver concluída, pode executar o seguinte comando da CLI para mostrar os SKUs de VM disponíveis na implementação. Se os controladores de GPU estiverem corretamente instalados, os SKUs de VM de GPU correspondentes são listados:

az aksarc vmsize list --custom-location <custom location ID> -g <resource group name>

Criar um novo cluster de cargas de trabalho com um conjunto de nós compatível com GPU

Atualmente, a utilização de conjuntos de nós preparados para GPU só está disponível para conjuntos de nós do Linux. Para criar um novo cluster do Kubernetes:

az aksarc create -n <aks cluster name> -g <resource group name> --custom-location <custom location ID> --vnet-ids <vnet ID>

O exemplo seguinte adiciona um conjunto de nós com dois nós ativados para GPU (NVDIA A2) com um SKU de VM Standard_NC4_A2 :

az aksarc nodepool add --cluster-name <aks cluster name> -n <node pool name> -g <resource group name> --node-count 2 --node-vm-size Standard_NC4_A2 --os-type Linux

Confirmar que pode agendar GPUs

Com o conjunto de nós de GPU criado, confirme que pode agendar GPUs no Kubernetes. Primeiro, liste os nós no cluster com o comando kubectl get nodes :

kubectl get nodes

NAME             STATUS  ROLES                 AGE   VERSION
moc-l9qz36vtxzj  Ready   control-plane,master  6m14s  v1.22.6
moc-lhbkqoncefu  Ready   <none>                3m19s  v1.22.6
moc-li87udi8l9s  Ready   <none>                3m5s  v1.22.6

Agora, utilize o comando kubectl describe node para confirmar que as GPUs podem ser agendadas. Na secção Capacidade , a GPU deve aparecer como nvidia.com/gpu: 1.

kubectl describe <node> | findstr "gpu"

O resultado deve apresentar as GPUs do nó de trabalho e ter um aspeto semelhante ao seguinte:

Capacity: 
  cpu:                4 
  ephemeral-storage:  103110508Ki 
  hugepages-1Gi:      0 
  hugepages-2Mi:      0 
  memory:             7865020Ki 
  nvidia.com/gpu:     1 
  pods:               110

Executar uma carga de trabalho ativada por GPU

Depois de concluir os passos anteriores, crie um novo ficheiro YAML para teste; por exemplo, gpupod.yaml. Copie e cole o seguinte YAML no novo ficheiro com o nome gpupod.yaml e, em seguida, guarde-o:

apiVersion: v1
kind: Pod
metadata:
  name: cuda-vector-add
spec:
  restartPolicy: OnFailure
  containers:
  - name: cuda-vector-add
    image: "k8s.gcr.io/cuda-vector-add:v0.1"
    resources:
      limits:
        nvidia.com/gpu: 1

Execute o seguinte comando para implementar a aplicação de exemplo:

kubectl apply -f gpupod.yaml

Verifique se o pod iniciou, concluiu a execução e a GPU está atribuída:

kubectl describe pod cuda-vector-add | findstr 'gpu'

O comando anterior deve mostrar uma GPU atribuída:

nvidia.com/gpu: 1
nvidia.com/gpu: 1

Verifique o ficheiro de registo do pod para ver se o teste passou:

kubectl logs cuda-vector-add

Segue-se um exemplo de saída do comando anterior:

[Vector addition of 50000 elements]
Copy input data from the host memory to the CUDA device
CUDA kernel launch with 196 blocks of 256 threads
Copy output data from the CUDA device to the host memory
Test PASSED
Done

Se receber um erro de incompatibilidade de versão ao chamar controladores, como "A versão do controlador CUDA é insuficiente para a versão do runtime CUDA", reveja o gráfico de compatibilidade da matriz do controlador NVIDIA.

FAQ

O que acontece durante a atualização de um conjunto de nós preparado para GPU?

Atualizar conjuntos de nós preparados para GPU segue o mesmo padrão de atualização sem interrupção utilizado para conjuntos de nós normais. Para que os conjuntos de nós preparados para GPU numa nova VM sejam criados com êxito no computador anfitrião físico, é necessário que uma ou mais GPUs físicas estejam disponíveis para atribuição de dispositivos com êxito. Esta disponibilidade garante que as aplicações podem continuar em execução quando o Kubernetes agenda pods neste nó atualizado.

Antes da atualização:

Planeie o período de indisponibilidade durante a atualização.
Tenha uma GPU extra por anfitrião físico se estiver a executar o Standard_NK6 ou 2 GPUs adicionais se estiver a executar Standard_NK12. Se estiver a executar a capacidade total e não tiver uma GPU adicional, recomendamos que reduza verticalmente o conjunto de nós para um único nó antes da atualização e, em seguida, aumente verticalmente após a atualização ser bem-sucedida.

O que acontece se não tiver GPUs físicas adicionais no meu computador físico durante uma atualização?

Se uma atualização for acionada num cluster sem recursos de GPU adicionais para facilitar a atualização sem interrupção, o processo de atualização fica suspenso até que uma GPU esteja disponível. Se executar na capacidade total e não tiver uma GPU adicional, recomendamos que reduza verticalmente o conjunto de nós para um único nó antes da atualização e, em seguida, aumente verticalmente após a atualização ser bem-sucedida.

Share via